基于个体识别的模式动物群体视觉跟踪

基于个体识别的模式动物群体视觉跟踪

模式动物广泛存在着外观相似、运动机动性强、遮挡频繁等问题,给模式动物群体跟踪提出了极大挑战。课题组结合传统图像分析方法和深度学习方法,突破了模式动物的视觉特征提取、模式动物的多目标个体识别、模式动物群体跟踪等技术,设计并开发了多套自动化模式动物行为学观测系统,实现了斑马鱼成鱼、幼鱼、小鼠等多种典型模式动物的群体跟踪和多种行为分析,受到生物、医药研究者的广泛关注。

  

Card image cap

  

  

基于改进HOG特征的模式动物个体识别

针对同种模式生物不同个体的背部纹理各不相同这一特点,提取模式动物背部纹理的改进HOG特征,实现了同种模式动物的个体识别。首先,课题组在模式动物图像中自动选取背部纹理区域形成HOG特征块,并从背部纹理区域中心的特征块开始,以逆时针方向对特征块排序形成图像特征,与原始HOG特征相比,课题组提取的特征更加稳定,且具有旋转不变性。进一步,利用改进HOG特征进行SVM分类器训练,实现了同种模式动物的个体识别。对斑马鱼成鱼(AB品系)、黑鼠(C57 B6)、果蝇(ISO4)等典型模式生物分别进行个体识别,个体识别正确率100%,充分证明了个体识别方法的有效性和通用性。

  

Card image cap

  

基于个体识别的模式动物群体跟踪

在实现模式动物个体识别的基础上,设计了逐级增强的跟踪轨迹段关联策略,实现了模式动物的群体跟踪。首先,根据轨迹交叉前后的目标个体识别结果构建局部分类器,实现了轨迹段在轨迹交叉位置的关联;其次,根据所有目标的个体识别结果构建全局分类器,实现了群体所有轨迹段的关联。与其他模式动物群体跟踪方法相比,课题组提出方法的轨迹跟踪结果正确率更高,且不会出现目标身份交换,确保了跟踪结果的全局正确性。在分别包含4、5、6、7、8、9、16条斑马鱼成鱼7段视频中,本方法的平均跟踪正确率为99.16%,在包含4条斑马鱼幼鱼的视频中,本方法的跟踪正确率为100%,充分说明了模式动物群体跟踪的高效性。

  

Card image cap

  

基于深度学习的鼠科动物姿态估计与社交行为识别

提出了基于深度学习的鼠科动物多目标姿态估计与个体识别算法,首先,将基于Mask RCNN的目标分割与单目标关键点检测算法Deeplabcut结合,以完成对鼠科动物的精细姿态估计;其次,结合基于卡尔曼滤波的轨迹预测算法与基于Facenet的鼠科动物面部识别校正算法,实现了目标的个体识别。与有色标记式、侵入式的个体识别算法相比,该算法在减少动物伤害的同时保证了较高的个体识别准确率。在此基础上,提出了鼠科动物静态与动态社交行为分析方法,实验结果表明,课题组提出的动态行为分类模型可达到70%以上的逐帧准确率与90%以上的“窗口”准确率,较好的满足了鼠科动物社交行为分析的需求。

  

Card image cap