近年来,随着通用人工智能(AGI)的突破性进展与大模型赋能的具身智能系统快速发展,如何深度融合人工智能技术与微操作机器人技术,构建具备通用任务适应能力、灵活操作特性及亚微米级稳定性的智能细胞操作系统,已成为微操作领域的重要发展趋势。课题组以细胞旋转为例,将多类学习方法用于细胞旋转优化,并开发了通用细胞操作仿真平台,未来将进一步深度探索智能化通用显微操作与宏微结合机器人。
目前研究工作及进展
1. 基于深度强化学习的细胞旋转优化
细胞旋转是细胞显微操作中调整细胞姿态的关键技术,通常使用吸持针施加负压固定细胞,并借助注射针与细胞之间的摩擦力实现旋转。传统方法主要依赖静力学建模规划注射针的运动轨迹,但由于细胞的个体力学特性存在差异,力学模型的泛化能力有限,难以应对复杂的细胞操作环境。为此,课题组在细胞旋转中引入深度强化学习,使智能体(Agent)在仿真环境中自主学习最优拨动轨迹,以优化细胞旋转过程中的受力控制,提升旋转稳定性。通过结合专家经验,该方法能够高效在线探索及自适应调整,在细胞几何形状、力学性质参数变化的情况下,优化拨动轨迹,减少细胞受力与形变,提升了细胞旋转的效率和鲁棒性。

2. 基于模仿学习的细胞单针旋转
细胞单针旋转通过控制吸持针针口流速及其与细胞的相对位置,来对细胞进行吸持与释放,以此来使细胞极体旋转到指定位置。与双针细胞旋转相比,单针旋转操作更简单、对细胞的损伤也更小。然而,由于操作的灵活性与流体建模的复杂性,难以通过传统控制方法实现单针旋转,而基于学习的方法在实现中需要大量数据。对于细胞显微操作来说,在实际环境中收集大量数据是很困难的,需要仿真数据进行辅助。为此,课题组开发了一套仿真平台,即在细胞与流体进行交互时,通过对细胞受力进行力学分析,搭建出一套基于Isaac sim仿真平台的细胞单针旋转仿真系统。进一步,基于该仿真系统,设计模仿学习网络架构,利用收集到的细胞单针旋转专家数据进行模仿学习,得到细胞单针旋转的策略网络,实现了自动化的细胞单针旋转。

3 基于物质点法的细胞操作动态建模与仿真
为了实现智能化通用显微操作,需要能够模拟复杂变形场景、具备较高计算效率的细胞操作仿真平台的支持。课题组深入分析了细胞的微观力学特性,基于物质点法,构建了细胞动力学模型,并结合细胞-微针交互模型,建立了一套细胞操作动态仿真平台。进一步,通过真实实验数据对细胞的力学性质参数、压强系数及时间尺度进行系统性标定,使得仿真平台能够准确模拟细胞在吸持、旋转、穿刺、去核等不同操作条件下的形变行为,为开展基于学习方法的通用显微操作优化打下了坚实的基础。
4. 宏微结合的细胞显微操作
为进一步满足显微操作对高通量、标准化、智能化操控的需求,克服传统显微操作系统操作范围受限、依赖人工干预等局限性,本课题组拟提出一种具有高度智能化、自适应性的宏微结合机器人系统。该系统融合宏观机械臂的多自由度运动能力与微观操作器的精密控制技术,构建跨尺度协同操作框架,旨在实现从宏观定位到微观操作的全程自动化,突破传统显微操作在操作范围、执行效率及可重复性等方面的瓶颈,为实验室自动化与智能化操控提供新范式。

课题组将继续开展细胞操作动态建模与仿真、基于学习方法的通用显微操作优化、结合大语言模型(LLM)/视觉语言模型(VLM)的全流程自动化显微操作、结合视觉语言动作(VLA)的宏微结合机器人等相关研究,欢迎感兴趣的同学加入,请联系孙明竹-人工智能学院 (nankai.edu.cn)