Entire-barn dairy cow tracking framework for multi-camera systems

目录

• • Title
  • Abstract
  • Conclusion
  • Introduction
  • [Related Work](#Related Work)
  • • [2.1. 单摄像头目标跟踪](#2.1. 单摄像头目标跟踪)
    • [2.2. 多目标多摄像头跟踪](#2.2. 多目标多摄像头跟踪)
  • [Proposed method](#Proposed method)
  • • [3.1. Camera calibration（相机标定）](#3.1. Camera calibration（相机标定）)
    • [3.2. Detection of individual dairy cows](#3.2. Detection of individual dairy cows)
    • [3.3. Projective transformation and integration into barn coordinates（投影变换和集成到牛舍坐标）](#3.3. Projective transformation and integration into barn coordinates（投影变换和集成到牛舍坐标）)
    • • [3.3.1 个体奶牛区域转换为牛舍坐标](#3.3.1 个体奶牛区域转换为牛舍坐标)
      • [3.3.2. 相机间相同个体区域的集成集成相同个体投影的矩形](#3.3.2. 相机间相同个体区域的集成集成相同个体投影的矩形)
    • [3.4. Tracking dairy cows（奶牛跟踪）](#3.4. Tracking dairy cows（奶牛跟踪）)
  • [Experimental conditions](#Experimental conditions)
  • • [4.1 Camera calibration（相机标定）](#4.1 Camera calibration（相机标定）)
    • [4.2 Dataset（数据集）](#4.2 Dataset（数据集）)
    • [4.3 Evaluation（评估）](#4.3 Evaluation（评估）)
    • [4.4 Implementation details（实现细节）](#4.4 Implementation details（实现细节）)
  • Results
  • 思考

Title

标题：

Entire-barn dairy cow tracking framework for multi-camera systems

电子牛舍奶牛跟踪框架用于多相机系统

发布：Computers and Electronics in Agriculture

作者：

Yota Yamamoto

Abstract

背景：

早期检测异常、快速诊断和预防疾病以及维持理想的妊娠计划对于确保稳定的牛奶生产至关重要。基于图像分析 的侵入性和非接触式健康管理技术因此引起了广泛关注。通过维护个体追踪记录,如行走水平和访问饲喂和饮水 站的次数,可以评估奶牛的健康状况。
方法：

提出了一种基于位置的多头奶牛追踪方法,该方法首次使 用多相机系统在整个牛棚内一致地追踪奶牛。与依赖图像特征的现有方法不同,提出的方法仅使用位置信息,使 其对奶牛外观特征和相机镜头畸变引起的视图扭曲具有鲁棒性。
结果：

我们在移动和密集堆叠奶牛的视频数据集上的实 验表明,我们提出的方法在MOTA上达到了约90%的准确率,在IDF1上达到了约80%。实验表明,我们的方法始 终优于现有的基于图像特征的方法。

Conclusion

提出了一种根图像无关的跟踪方法，用于建立奶牛的跟踪技术。该方法通过使用高级投影变换和集成算法获得的位置信息即可跟踪奶牛。由于它仅使用位置信息,因此该方法对奶牛外观特征具有鲁棒性。即使相机镜头畸变导致可见性和图像特征发生变化,它也能很好地工作。

Introduction

• 第一段：奶牛健康很重要
• 第二段：目前存在侵入式和非侵入式的监测存在的问题，个体追踪使我们能够 了解个体行为模式,例如访问饲喂站的次数和饮水的次数。这些信息有 助于疾病的早期检测。因此,对于基于摄像头的监测方法来说,准确追 踪奶牛行为是构建有效奶牛监测系统的重要起点。
• 第三段：深度学习的挑战：之前的养殖方式奶牛被固定容易检测，现在的养殖方式奶牛会自由活动难以检测。奶牛的姿势变化和拍摄角度会导致图像特征发生显著变化,使得在整个牛舍内进行一致跟 踪变得困难。
• 第四段：多目标相机追踪（MTMCT）：相同的奶牛在不同的相机下奶牛的大小、图案和姿态因视角角度 和相机畸变而差异很大。
• 第五段：本文观点：本文提出了一种基于图像特征独立、图像衍生、基于位置的多相机 自由牛棚/自由卧床牛棚奶牛跟踪方法。该方法基于图像中检测到的奶牛 的位置信息,重点关注相机之间的重叠区域,并使用投影变换来一致地 跟踪奶牛在牛棚中的位置。本文重点在于提高"奶牛跟踪"的准确性,而不是"奶牛识别"。 准确的奶牛跟踪有助于提高基于图像特征的个体识别准确性,因为通过 在多张图像中跟踪个体可以纠正间歇性识别错误。
• 第六段：简单回顾，大概的介绍

Related Work

多目标跟踪分为单相机和多相机方法

2.1. 单摄像头目标跟踪

单摄像头配置中,目标跟踪是通过检测目标并在帧之间匹配检测 到的目标来实现的。

检测网络：Faster R-CNN、YOLO、SSD

跟踪网络：Deep SORT、Deep MOT

在但摄像头检测中，检测到的目标位置也很重要，它可以与图像特征结合使用或单独使用。一种基于状态空间模型的多目标跟踪方法（SORT简单在线实时跟踪）该方法使用位置信息。在此方法中,在时间序列连续图像的每一帧中,通过将训练好的目标检测器获得的目标矩形与卡尔曼滤波器估计的跟踪目标预测矩形进行匹配来更新轨迹。SORT 的过程概述如下:

1. 从输入图像在时间 t 处使用目标检测器提取一个对象矩形

2. 在假设对象具有恒定速度线性运动的条件下,基于被跟踪个体在时间 t (此后,估计矩形)的状态空间模型从轨迹信息中估计每个个体的矩形位置。

3. 在检测矩形组 Ot 和在第 1 步和第 2 步获得的估计矩形组 Ht 之间执 行矩形匹配,以最大化矩形之间的交并比 (IoU) 之和。两个矩 形区域 x,y 的 IoU 由以下公式定义:
   

4. 使用匹配结果,为每个被跟踪的个体更新时间 t 的轨迹。未匹配的检 测矩形被注册为新的跟踪目标。5. 重复步骤 1 到 4。在一定时期内未分 配检测矩形的被跟踪个体被丢弃。

SORT具有高速处理的优点，不需要特征图计算，在一般监控摄像头向下倾斜时,牛棚相机使用广角镜头俯瞰广阔区域,这导致图像出现镜头畸变的问题，在畸变较大的区域中,准确识别运动非常困难。在本研究中,我们应用投影变换来解决此问题并提高跟踪精度。

2.2. 多目标多摄像头跟踪

从多个相机检测到的图像中提取的图像特征和运动特征生成聚类;假 设为匀速运动。在此方法中,两个轨迹片段 i 和 j 之间的图像特征相关 性 w(a) ij 、运动特征相关性 w(m) ij ,以及观测时间差 Δtij,定义如下:

Proposed method

提出了基于包含检测、投影变换和跟踪 (DPT)的框架

• 预处理:相机标定。 计算来自天花板相机和实际牛舍坐标之间的对 应关系,以便在统一的牛舍坐标系中处理位置信息。
• 第一步:检测个体奶牛区域。 对于每张牛棚相机图像,应用目标检 测技术检测每头奶牛的个体区域。
• 第二步:投影变换和集成到牛棚坐标系。 在第一步中获得的每个个 体奶牛区域被投影到牛棚坐标系中,并且从共享相同视场的每个相机 投影到的相同个体区域被集成。
• 第三步:跟踪奶牛。 基于第二步中获得的个体奶牛在牛棚坐标系中 的投影和集成,生成奶牛在整个牛棚中的跟踪轨迹。

3.1. Camera calibration（相机标定）

投影变换法步骤：

1. 准备多个点Pi = (Xi, Yi, Zi)在世界坐标（牛舍坐标）和对应点pi = （xi, yi )在相机坐标，并将牛舍地板的 Z 坐标设置为0
2. 用其他人的摄像机校准方法确定每个谷仓摄像机的内部参数K、外部参数R| t，以及使用步骤1中提供的相应点的失真系数矩阵k。这里，R是3 x 3旋转矩阵，t是三维平移载体。
3. 通过考虑奶牛背部的高度h，参考平面在 Z = h 从理想(未畸变) 图像坐标到世界坐标的平面投影变换矩阵 M由以下公式确定:
   
4. 世界坐标合成齐坐标P
   
   其中 k 是镜头畸变向量,f 是将失真图像中的齐次坐标 p 转换为理 想(未失真)图像中的函数。

3.2. Detection of individual dairy cows

本文采用Faster R-CNN

3.3. Projective transformation and integration into barn coordinates（投影变换和集成到牛舍坐标）

3.1中检测到的奶牛个体区域被变换(投影)到牛舍 坐标中。多个相机可能已经捕获了同一头奶牛。这些可以被集成以实现 跟踪。

3.3.1 个体奶牛区域转换为牛舍坐标

从每个牛舍相机检测到的矩形 d ,通过以下程序(图3)在牛舍坐 标中获得相应的新矩形 dʹ。矩形 d 的左上顶点和右下顶点的坐标分别是 (x1,y1), (x2,y2) ,分别表示为 d = (x1, y1,x2,y2).

1. 矩形变换:将矩形d的四个顶点按顺时针方向从左上角标记为A(x1, y1)、 B(x2, y1)、C(x1, y2)、D (x1,y2)。使用预计算标定参数,根据公式(6)投 影的点依次识别为Aʹ（ xʹA, yʹA ), Bʹ （xʹB, yʹB ), , Cʹ（ xʹC, yʹC ), Dʹ *（xʹD, yʹD ).
2. 矩形校正:将xʹA, xʹB, xʹC, xʹD 按升序排列得到xʹ1,xʹ2,xʹ3,xʹ4, ,yʹ1,yʹ2,yʹ 3,yʹ4同理。内接矩形dʹin 和外接矩形dʹout 定义如下:
   
3. 矩形过滤: 过滤掉由实际投影变换产生的无效矩形,仅保留以下步 骤中确定的可靠矩形:
   

3.3.2. 相机间相同个体区域的集成集成相同个体投影的矩形

3.4. Tracking dairy cows（奶牛跟踪）

我们将跟踪算法应用于上述过程中整合的奶牛个体区 域,以生成跟踪轨迹。最初为单相机设计的跟踪方法可以直接应用。在本文 中,我们使用基于IoU的SORT算法(Bewley et al., 2016)实现了跟踪 过程,该过程独立于图像特征。

Experimental conditions

4.1 Camera calibration（相机标定）

使用了条形网格图像,该网格以3.0米(宽度)和 1.6米(高度)的间隔放置,从左上角开始,如图图7所示。这些条形以0.5 米的间隔涂成红色,用于绘制它们在相机图像和畜舍地图中的位置对应关系。

4.2 Dataset（数据集）

每个数据集都被划分,以便每头奶牛至少出现在40帧中。考虑到在 实际操作中获取所有个体奶牛图像的难度,使用包含29头奶牛(A)的 数据集用于训练牛检测器,而包含40头和43头奶牛的数据集(B)和 ©则用于评估。

4.3 Evaluation（评估）

4.4 Implementation details（实现细节）

Results

思考