微操作技术是指在微观尺度上（通常为微米或亚微米级别）对样本进行精确操作的技术，近年来，微操作技术在生命科学研究中发挥着越来越重要的作用。传统人工操作方法存在操作者依赖性强、通量低且重复性差等问题，难以满足现代生命科学研究对大规模样本处理的需求。为此，课题组开展了基于显微视觉的微操作机器人研究，实现了多种生命科学显微操作的自动化。
目前研究工作及进展
1. 基于YOLO模型的显微操作目标检测
实现自动化精准显微操作的前提是通过视觉算法精确获取目标位置，例如，在体细胞核移植过程中，获得卵母细胞及其极体、吸持针、注射针以及体细胞的位置是实现自动化核移植的前提。因此，课题组通过自建数据集，并对YOLO目标检测模型进行微调，最终实现了在显微操作中对于关键目标的实时检测，克服了传统视觉方法的不稳定性，为自动化显微操作提供了强有力的视觉支持。
2. 基于极体实时检测与跟踪的自动化细胞旋转
细胞旋转对于细胞操作具有重要意义，该细胞操作适用于卵胞浆内单精子显微注射、体细胞核转移等。课题组基于对卵母细胞极体的实时检测和跟踪提出了一种自动细胞旋转方法。一方面，将图像分割和视觉跟踪相结合，以确定极体是否出现在图像平面中，以及在细胞旋转过程中如何将其定向至所需的方向。另一方面，通过网络连接在服务器上进行深度学习网络的训练和预测，以确保算法的实时性能。在实验中，分别使用小鼠和猪的卵母细胞验证系统性能，实验结果表明，所提出的方法是有效，实现了稳定且高速的自动三维细胞旋转。发表论文：H. Gong, L. Li, J. Qiu, Y. Yao, Y. Liu, M. Cui, X. Zhao and M. Sun*, "Automatic cell rotation based on real-time detection and tracking," IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7909-7916, 2021.
3. 基于深度预测模型的实时三维精子追踪
精子追踪是自动化卵胞浆内单精子显微注射（ICSI）的关键步骤。大多数现有的自动化ICSI精子跟踪方法仅依赖于二维精子位置，无法处理因显微镜景深有限而导致的精子离焦情况。课题组提出了一种视觉伺服系统，实现了单个活精子的实时三维跟踪。一个离焦预测模型被用于预测精子的实时深度位置，一个前馈控制器被用于控制电动平台和调焦设备以实现精子的精准定位。实验结果表明，课题组提出的深度预测器能够在6ms内预测出精子的离焦距离，满足了实时跟踪的要求；在加入前馈补偿后，最终实现了精子实时三维跟踪，平均跟踪误差3μm，极大程度上解决了自动化ICSI中精子的离焦问题。
4. 基于脑切片配准的多脑区机器人化膜片钳
膜片钳技术被称为研究离子通道的“金标准”，由于膜片钳操作的复杂性以及对实验者经验的严重依赖，越来越多的研究人员专注于自动化的膜片钳操作。课题组提出了一种2D-3D脑区配准方法，用于将膜片钳实验中的脑切片显微镜图像配准到全脑图谱。首先，使用图像拼接技术构建全局脑切片显微图像，之后使用HOG特征确定全局脑切片的深度，并获得与全局脑切片对应的全脑图谱模板图像；接下来，设计基于轮廓的图像配准方法，计算出两个脑切片图像间的转换参数，获得实验全局脑切片的大脑区域分布。最终，将此方法嵌入机器人化膜片钳系统中，实现了多个脑区中神经元的电生理记录。发表论文：K. Li, H. Gong, J. Qiu, R. Li, Q. Zhao, X. Zhao and M. Sun*, "Robotic Patch Clamp Electrophysiological Signal Measurement in Multiple Brain Regions Based on Brain Slice Registration," IEEE Transactions on Automation Science and Engineering, vol. 21, no. 4, pp. 7287-7297, 2024.
5. 基于器官检测的自动化斑马鱼显微注射
斑马鱼作为重要的模式生物，在生物医学领域具有不可替代的价值，对研究基因功能、药物筛选和疾病模型等起着重要作用。其中，将外源物质输送到斑马鱼体内，显微注射是一种重要的技术手段。本课题组致力于研发高通量的自动化斑马鱼显微注射技术，创新性地构建了视觉检测体系，通过融合深度学习与时序图像分析，实现了面向批量注射的斑马鱼器官自动检测方法，包括基于目标检测的卵黄囊识别和基于时序图像分析的总主静脉检测，进而实现了自动化的斑马鱼幼鱼卵黄囊全自动显微注射和斑马鱼幼鱼总主静脉显微注射。发表论文：L. Li#, C. Wang#, H. Gong, R. Liu, Y. Wang, Q. Zhao, Y. Liu, X. Zhao and M. Sun*, "Automatic High-Throughput Injection System for Zebrafish Larvae Based on Precise Positioning of Injection Target," IEEE Transactions on Automation Science and Engineering, vol. 21, no. 4, pp. 6423-6433, 2024.
课题组将继续开展贴壁细胞视觉检测、自动化批量贴壁细胞显微注射、自动化体细胞核移植操作、自动化卵胞浆内单精子显微注射等相关研究，欢迎感兴趣的同学加入，请联系孙明竹-人工智能学院 (nankai.edu.cn)
