Title: Rice Seedling Detection in UA V Images Using Transfer Learning and Machine Learning
Abstract: To meet demand for agriculture products, researchers have recently focused on precision agriculture to increase crop production with less input. Crop detection based on computer vision with unmanned aerial vehicle (UA V)-acquired images plays a vital role in precision agriculture. In recent years, machine learning has been successfully applied in image processing for classification, detection and segmentation. Accordingly , the aim of this study is to detect rice seedlings in paddy fields using transfer learning from two machine learning models, EfficientDet-D0 and Faster R-CNN, and to compare the results to the legacy approach---histograms of oriented gradients (HOG)-based support vector machine (SVM) classification. This study relies on a significant UAV image dataset to build a model to detect tiny rice seedlings. The HOG-SVM classifier was trained and achieved an F1-score of 99% in both training and testing. The performance of HOG-SVM, EfficientDet and Faster R-CNN models, respectively , were measured in mean average precision (mAP), with 70.0%, 95.5% and almost 100% in training and 70.2%, 83.2% and 88.8% in testing, and mean Intersection-over-Union (mIoU), with 46.5%, 67.6% and 99.6% in training and 46.6%, 57.5% and 63.7% in testing. The three models were also measured with three additional datasets acquired on different dates to evaluate model applicability with various imaging conditions. The results demonstrate that both CNN-based models outperform HOG-SVM, with a 10% higher mAP and mIoU. Further, computation speed is at least 1000 times faster than that of HOG-SVM with sliding window. Overall, the adoption of transfer learning allows for rapid establishment of object detection applications with promising performance.
Keywords: UAV; machine learning; deep learning; object detection; EfficientDet; Faster R-CNN; transfer learning
题目：基于迁移学习和机器学习的UAV图像中水稻幼苗检测
**摘要：**为了满足对农产品的需求，研究人员最近将重点放在精准农业上，以减少投入来提高作物产量。基于计算机视觉的无人机作物检测在精准农业中发挥着至关重要的作用。近年来，机器学习已成功应用于图像处理中的分类、检测和分割。因此，本研究的目的是使用来自两个机器学习模型EfficientDet-D0和Faster R-CNN的迁移学习来检测稻田中的水稻幼苗，并将结果与传统方法------基于定向梯度直方图（HOG）的支持向量机（SVM）分类进行比较。这项研究依赖于一个重要的无人机图像数据集来建立一个检测微小水稻幼苗的模型。HOG-SVM分类器经过训练，在训练和测试中都获得了99%的F1分数。HOG-SVM、EfficientDet和Faster R-CNN模型的性能分别在平均精度（mAP）和平均交并比（mIoU）方面进行了测量，平均精度在训练中分别为70.0%、95.5%和100%，在测试中分别为70.2%、83.2%和88.8%，平均交并比在训练中为46.5%、67.6%和99.6%，在测试时分别为46.6%、57.5%和63.7%。还使用在不同日期采集的三个额外数据集对这三个模型进行了测量，以评估模型在各种成像条件下的适用性。结果表明，两个基于CNN的模型都优于HOG-SVM，mAP和mIoU高出10%。此外，计算速度比具有滑动窗口的HOG-SVM快至少1000倍。总体而言，迁移学习的采用允许快速建立具有良好性能的对象检测应用程序。
**关键词：**无人机；机器学习；深度学习；目标检测；EfficientDet；Faster R-CNN；迁移学习
1.引言
本研究旨在采用物体检测模型，使用无人机监测稻田中的单个小物体。特别是，这项研究将稻田中的水稻幼苗作为人眼很难观察到的非常微小的物体来寻找位移或缺失的水稻幼苗，并对水稻幼苗进行计数和定位。近年来，通过提出许多算法，通过将局部区域感知和特征提取与分类过程相结合来训练网络模型，CNNs在解决目标检测问题方面取得了令人印象深刻的改进。基于CNN的目标检测模型的开发阶段如图1所示，本研究通过轻量级架构和迁移学习克服了精准农业深度学习中的数据稀缺问题。此外，本研究选择了EfficientDet和Faster R-CNN，因为它们的架构能够处理小目标检测的特征尺度的巨大变化。总体而言，本研究采用一阶段和两阶段的目标检测架构，在UA V图像中开发微小目标检测，以识别用于精准农业的水稻幼苗，这是传统水稻种植从未做过的，并应用传统的HOG-SVM方法进行比较。本研究旨在达到以下目的：
(1)采用传统的一阶段和两阶段机器学习算法来精确检测无人机图像中的小物体;
(2)根据先验知识快速建立对象检测模型，作为一种迁移学习方法，以克服轻量级架构的数据稀缺问题，并验证其对未发现数据的适用性；
(3)通过三个机器学习模型来评估水稻幼苗检测的性能和计算成本，以观察水稻幼苗的生长;
图 1. 深度学习对象检测的发展阶
2.材料和方法
2.1 数据介绍
UAVs可用于帮助农民在早期广泛监测水稻生长。水稻幼苗的田间图像由配备摄像头的无人机收集，并从开放数据集下载(A UAV Open Dataset of Rice Paddies for Deep Learning Practice)。表1和表2中给出了相机、UA V和拍摄图像的校准设置的详细信息。
研究区域位于台湾台中市雾峰区的台湾农业研究所，在那里进行了长期的实地调查和观测，包括无人机成像和实地调查，以进行水稻种植管理实验。稻田水稻苗数是计算密度和估算粮食产量的关键之一。研究区域如图2所示，其中青色边界区域表示深度学习训练-测试数据集的区域，绿色和青色边界区域代表HOG-SVM训练-测试的区域，红色边界区域表示附加草地子图像的区域。为了生成如图2所示的正射校正马赛克图像，应用了一个基于商业图像的建模软件Agisoft Metashape。稻田的样本图像如图3所示。这些图像中的每一幅都包含许多分辨率较低的微小水稻幼苗。
使用HOG-SVM和两个深度学习模型处理稻田RGB图像以检测和计数水稻幼苗的框架如图4所示。该框架包括四个阶段：图像预处理、子图像生成、三种方法的目标检测以及检测结果和评估。第一阶段是UAVs捕获的正射校正和镶嵌图像。由于GPU的内存限制，第二阶段是从正射校正的镶嵌图像生成子图像。第三阶段展示了三种对象检测方法：传统方法HOG-SVM、两阶段对象检测架构Faster RCNN和一阶段架构EfficientDet。三种方法生成具有分类和定位预测的检测结果，这些预测在第四阶段中用人工标注进行评估。子图像中的每个水稻幼苗都由农业专家手动注释。使用训练数据集来获得用于水稻幼苗检测和计数的最佳模型权重。
图 2. 2018 年 8 月 7 日获取的无人机图像概览
图 3. 稻田图像数据集中的水稻幼苗样本图像
图 4. 水稻幼苗检测的框架
2.2 训练集以及测试集
UAVs可用于帮助农民在早期广泛监测水稻生长。水稻幼苗的田间图像由配备摄像头的无人机收集，并从开放数据集下载(A UAV Open Dataset of Rice Paddies for Deep Learning Practice)。表1和表2中给出了相机、UA V和拍摄图像的校准设置的详细信息。
2.2.1 HOG-SVM 模型
本研究采用了开放数据集[A UAV Open Dataset of Rice Paddies for Deep Learning Practice]中的标记数据集，将8幅完整的大图像中的一幅裁剪成54628个子图像，大小为48×48×3像素，包括26581幅裸地图像和28047幅水稻幼苗图像，并从外部添加了18757幅来自水稻外部的草子图像，如图2中的红色边界区域所示。在73385张图像中，80%用于使用特征提取和分类方法构建图像分类方法，而其余20%用于测试。这三个类的示例图像如图5所示。
图 5 用于模型训练的标注图像的示例。
2.2.2 CNN 模型
数据集收集是对象检测的重要组成部分。本研究共使用了四张稻田的UA V图像来训练基于CNN的水稻幼苗检测模型。每个图像中的每个水稻幼苗都使用labelImg手动标记，labelImg是一种基于像素的开源图形图像注释工具，具有来自背景的单个单独类别（即水稻幼苗）。为了在每个图像中具有足够的水稻幼苗数量的数据集，每个图像被分割成多个子图像，每侧512个像素。从四个场图像中总共生成297个子图像，并应用80--20的训练-测试分割比生成273个子图像用于训练，60个子图像用于测试。此外，还包括2018年8月14日、2019年8月12日和2019年8日20日采集的三个单独的测试数据集，分别为72、100和100张图像，以评估该模型对各种成像条件的适用性。在每个子图像中对水稻幼苗进行注释是耗时的（需要大量的人-小时），因此采用了半自动预处理来进行快速注释。数据集可用于确定水稻幼苗检测和计数的准确性。预期的研究结果是寻找原始计数，并说明水稻幼苗的空间分布。图6显示了水稻幼苗的注释图像。
图 6. 用子图像上的绿色边界框注释水稻幼苗
2.2.3 EfficientDet 模型训练
EfficientDet是一种高度可扩展的单阶段对象检测架构。该网络继承了先前开发的模型EfficientNet作为特征提取的主干。为了理解上下文特征，引入了双向特征金字塔网络（BiFPN）作为聚合多尺度特征的特征网络。与先前提出的结构（如FPN、PANet和NAS-FPN）相比，BiFPN具有更好的效率和更高的精度。此外，EfficientDet还继承了EfficientNet的复合缩放方法，该方法允许在不显著改变网络架构的情况下进行更深更宽的网络缩放。在本研究中，选择复合系数=0（EfficientDet-D0）作为检测模型，可视化架构如图7所示。
图 7. EfficientDet-D0 框架
为了快速建立特定的应用程序，通过采用基于先验知识的预训练权重来应用迁移学习，以更快地收敛。ThusCOCO17 EfficientDet-D0的预训练权重在模型训练阶段导入。模型训练使用了TensorFlow在GitHub上正式发布的脚本。配置中参数的变化是类的数量、训练步骤、批量大小和检测框的最大数量，分别为1、30000、16和200。
2.2.4 Faster RCNN 模型训练
Faster R-CNN是一个两阶段的目标检测网络，它继承了R-CNN家族的稳健性，具有精确的检测能力。为了加快检测速度，提出了一种区域建议网络（RPN）来代替GPU利用率低的选择性搜索算法。RPN是一个完全卷积网络，以一组预定义的锚点作为回归目标，生成边框回归和边框分类特征。在RPN生成提议之后，来自RPN的提议和来自主干的特征都被传递到快速R-CNN检测器中。由于锚的设计已经考虑了多尺度和多比例模式，因此可以在单尺度图像上训练该架构。Faster R-CNN ResNet-101的可视化架构如图8所示。
图 8. Faster R-CNN ResNet101 框架
还采用了迁移学习策略来快速建立检测应用程序。在本研究中，选择输入图像大小为640×640预训练权重的ResNet-101[63]主干来训练Faster R-CNN模型。配置中参数的变化是类的数量、训练步骤、批量大小和检测框的最大数量，分别为1、25000、8和200。
2.2.5 HOG-SVM 模型训练
SVM主要用于通过超平面(hyperplane)将数据划分为两个或多个类。支持向量位于用代价函数和核函数(cost and kernel functions)获得的最优超平面的边缘。可以在训练模型中使用HOG特征来代替原始图像特征，以在大量UAV图像中获得更好的性能。HOG通过从一组特定的像素块估计幅度和梯度方向来呈现对象。本研究采用了OpenCV库中的HOG描述符，参数设置如表3所示。对于48×48像素的输入图像，HOG描述符生成由1296个元素组成的向量。SVM分类器来自NVIDIA GPU支持的库ThunderSVM，据称其速度是LibSVM库的10到100倍。为了找到最优超平面，采用了交叉验证的网格搜索方法。表4列出了用于SVM训练的网格搜索的参数。对于SVM分类来说复杂度可以表示为等式（1），
其中n表示样本大小，S表示支持向量的数量。然而，解决SVM问题的计算成本既有二次分量，也有三次分量；这导致复杂性增长到至少
到
。
在SVM分类器中使用从HOG获得的对象特征来将像素分离为对象或背景。此外，经过训练的SVM分类器可以使用滑动窗口来检测对象。滑动窗口方法是一种有效的技术，可以随着时间的推移定位图像中不同大小的对象。图9是基于HOG和SVM的水稻幼苗检测示意图。SVM确定检测到的对象是属于水稻幼苗还是属于类的其余部分。
图 9. 基于 HOG 和 SVM 的水稻秧苗检测图
2.2.6 指标评估
为了评估预测框的定位，计算了交并比（IoU）。与人工标注相比，高IoU表示精确预测的物体位置。在实践中，平均精度（AP）是常用的，并被定义为以特定类别的方式在不同召回下的平均检测精度。和平均精度（mAP）通过类间的平均AP得分进行评估，通常用于评估许多目标检测数据集以及本研究中所有模型的性能。对于对象检测，AP被计算为等于或大于某个IoU阈值。从COCO数据集度量评估的定义出发，提出了三种与IoU相关的AP度量：AP、APIoU=0.50和APIoU=0.75。第一个AP是在0.05区间内IoU在0.5到0.95范围内的AP的平均值，总共10个区间。APIoU=0.50和APIoU=0.75分别是处于等于或大于0.5和0.75的IoU阈值的AP。IoU阈值越大，AP就越低。本研究计算出APIoU=0.50。
此外，HOG-SVM分类模型的性能是基于精度、召回率、F1分数和总体准确度（OA）来评估的，分别表示预测的精度、对真实数据的预测的准确性、预测的稳健性和所有类别的准确性。
3.结果以及讨论
3.1 HOG-SVM
为了快速建立具有GPU能力的计算环境，使用了由国家高性能计算中心（NCHC，Taiwan）提供的台湾计算云（TWCC）。该服务提供了各种容器化的计算环境，以使用强大的计算资源运行实验。在本研究中，容器化图像tensorflow-19.08用于满足在UDA 10.1版本中运行Thunder SVM的要求。该容器运行在一个NVIDIA Tesla V100 GPU、四核Intel Xeon Gold 6154 CPU和90GB主机内存的硬件规范上。
在实验中，通过HOG描述符提取特征，然后将其用于SVM中进行图像分类。如第2.5节所述，网格搜索方法用于找到SVM分类器的最佳参数。在搜索序列之后，选择C＝4的参数以获得最佳分类能力。表5给出了评估指标，图10给出了混淆矩阵。基于HOG特征的SVM对训练和测试数据的总体准确率分别为93.9%和93.1%。在不同类别的指标中，均达到85%以上，尤其是水稻幼苗类别，达到99%以上。这表明该模型能够稳健地从图像中区分水稻幼苗。
为了检测稻田图像中的水稻幼苗，实现了一种滑动窗口方法，其中首先将高度重叠的切片计算为HOG向量，并将其分类为三类概率。然后，收集输出概率并将其排序为输入图像的形状以形成概率图。概率图被传递到高斯滤波器进行平滑，然后应用置信阈值来保持正像素。最后，应用寻找轮廓的过程来识别每个闭合对象并生成边界框。
为了评估滑动窗口检测方法的性能，计算了两个常见的度量，AP和IoU。在计算AP之前，计算每个对象的IoU以进行匹配。如果预测框与地面实况框重叠，并且IoU高于阈值，则该对象被计数为正确的预测。如果预测框与地面实况框不重叠，或者重叠的IoU低于阈值，则该对象被视为预测失误。然后，以从最有信心框开始的降序方式计算AP。可视化检测结果的示例如图11所示。深绿色框表示与预测框相匹配的人工标注框，而蓝色框表示与无预测框相匹配对的人工标注框。
浅绿色框表示与IoU等于或大于0.5的人工标注框匹配的预测框，黄色框表示与IoU小于0.5的人工标注框匹配的预测框，红色框表示与无人工标注框相匹配的预测框。图12中显示了一个可视化召回-精度曲线（AP曲线）的示例。通过评估所有训练和测试数据，HOG-SVM对训练数据表现为0.700mAP和0.465mIoU，对测试数据表现为0.702mAP和0.466mIoU。
3.2 CNN 模型
两种基于CNN的检测模型的实验也在TWCC上实现。实验的容器化图像是tensorflow-21.06-tf2，tensorflow版本2.5具有最新的功能支持。硬件规格与HOG-SVM实验相同。
从模型构建开始，两个实验都应用了TensorFlow官方发布的对象检测示例中的相同脚本。仅有的两个更改是配置文件和预训练的权重。使用的详细文档可以从GitHub上的TensorFlow访问。两个检测模型都使用COCO 2017预训练的权重进行初始化，该权重提供了对象特征的先验知识，以提供更好更快的模型收敛。两个检测模型的评估与HOG-SVM的评估相同，此处跳过。图13显示了可视化检测结果，图14显示了可视化AP曲线。对于所有的训练和测试数据，EfficientDet-D0在训练数据上分别表现为0.955 mAP和0.676 mloU，在测试数据上分别为0.837 mAP和0.575 mloU。更快的R-CNN在训练数据上执行1.000 mAP和0.996 mloU，在测试数据上表现为0.888 mAP和0.637 mloU训练和测试之间的指标显示了训练过程中过拟合可能导致的巨大差距。所有模型的比较将在第3.3节中提及。
3.3 模型性能表现对比
通过评估度量和计算成本（即执行时间）对三个检测模型进行比较，以从不同的应用角度说明模型之间的权衡。HOG-SVM模型和基于CNN的模型之间的检测工作流程不同，因此计算成本的比较分为三个部分：预处理、推理和可视化。比较如表6所示。
为了模拟实时场景的推断，从磁盘上逐个加载所有三个模型的图像。在HOG-SVM中，通过滑动窗口方法和HOG特征计算对图像进行处理，以生成用于SVM分类的输入向量。这是一个乏味的过程，不利用GPU来执行并行处理。与HOG-SVM不同，基于CNN的检测模型高度利用GPU并行提取特征和检测对象。比较表明，HOG-SVM和基于CNN的模型在计算时间上存在明显差距，尤其是在预处理和推理环节。计算时间上的巨大差距是由于采用了滑动窗口方法，如果不应用并行计算，该方法可以在指数爆炸时间内处理数据。我们之前的研究（A UA V Open Dataset of Rice Paddies for Deep Learning Practice）使用一个简单的CNN分类模型和滑动窗口方法在开放数据集上检测水稻幼苗。结果表明，该分类模型表现良好，F1得分为0.99，但定位精度较低，与本研究中HOG-SVM方法的结果相似。在本研究中，采用了一阶段和两阶段的深度学习方法来提高定位精度。在本研究中，采用了一阶段和两阶段的深度学习方法来提高定位精度。本研究中采用的EfficientDet是一种新的单阶段检测架构，具有更少的计算量和更好的精度。此外，本研究应用迁移学习来减少对大量训练数据和训练时间的需求（500个时期小于1小时）。总体而言，EfficientDet和Faster R-CNN模型显示了实时推理的能力，因为它们分别执行了约30帧/秒和20帧/秒的检测。然而，基于CNN的模型的计算成本被夸大了，因为通常情况下，图像是通过总线而不是磁盘从相机缓存中读取的。此外，CNN模型将被优化为更快、更轻的运行时包，以满足各种部署环境。
3.4 模型性能表现对比
三个检测模型都用四个测试数据集进行了评估，这些数据集在种植年份、生长日、位置和环境条件方面有所不同。表7列出了三个模型的AP和IoU指标，图15显示了这些指标。为了评估模型的稳健性，还评估了精度、召回率和F1分数的指标，结果如表8所示，如图16所示。
根据测试结果，基于CNN的检测模型的性能超过了HOSVM模型，在所有指标上的性能都提高了至少10%。Faster RCNN的AP和IoU指标高于EfficientDet-D0。相反，在所有测试集上，Faster RCNN的召回率都低于EfficientDet-D0。为了讨论这个问题，选择并可视化了四个不同数据集上的测试图像示例（图17），测试结果的比较如图18所示。图17显示了水稻环境、幼苗大小和光照的变化。幼苗大小的变化是由于图像采集日期的不同，可以分为边长为20、25和30像素的三种大小。稻田环境可分为积水管理和藻类生长相结合的四种情况。照明条件可以分为有阴影的对象和没有阴影的对象。
图18显示了三个模型之间的检测结果比较示例。精度是通过IoU等于或大于0.5的预测数量（浅绿色框）除以预测总数来计算的。召回是通过浅绿色方框的数量除以人工标注框的总数来计算的。
Faster RCNN在2019年8月12日采集的数据集上的检测结果（图18c的中心列）显示了很大比例的遗漏对象，这导致了较低的召回率。这个问题可能是水稻幼苗上相对较低的光照强度与浑浊水的高反射率形成对比。在2019年8月20日获得的数据集上，所有三个模型的精度和召回率都较低（图18d），这是由于训练样本（图6）和测试样本之间的幼苗大小存在显著差异。2019年8月12日和8月20日的数据分别在幼苗移植后17天和25天获得。此外，在幼苗移植后19天对田地进行施肥。根据水稻生长日历[66]，2019年8月20日的水稻幼苗处于活跃期中期，在此期间，水稻幼苗生长迅速，遮荫较多。因此，从最低点的角度来看，水稻幼苗的大小与训练数据明显不同，降低了精确度、召回率和f1得分。
根据表8和图16中的评估，EfficientDet-D0在前三个数据集上显示了类似的预测结果。图18还显示了EfficientDet的稳定预测能力，尽管测试数据集和训练数据集之间在图像色调和对比度、对象大小和周围反射率方面存在差异。因此，EfficientDet具有最高的鲁棒性，以最小化图像方差的影响。
4.结论
UAV图像中的微小物体检测在实际应用中是一项具有挑战性的任务。内存消耗导致的计算时间长和速度慢是首要原因。复杂的背景和场景、高密度区域和场的随机纹理也会降低小目标检测的性能。在这项研究中，小水稻幼苗出现在高噪声环境中，这影响了使用深度学习对UA V图像的检测。
本研究在UAV图像上提出了三个机器学习模型，HOG-SVM、EfficientDet和Faster R-CNN，用于检测微小水稻幼苗。通过图像处理的预处理和手动验证对数据集进行半注释，以降低人工成本。这种方法肯定可以快速生成可用的数据集。HOG描述符和SVM分类器的结合为水稻幼苗分类提供了一个稳健的结果，在训练中获得了99.9%的F1分数，在测试中获得了99.6%的F1分数。其余两个类在训练和测试中都取得了85%以上的F1成绩。然而，爆炸性的数据增长是实际应用中需要解决的问题之一。对于SVM分类，计算复杂度随样本量呈指数级增长。对于这样一种算法来说，这是一个显著的缺点，它不能有效地处理实际应用中的大数据。在本研究中，从预训练的模型中转移了两个CNN模型，以开发一个具有高检测精度和快速性的广义模型。通过在每个子图像中注释每个水稻幼苗，将四个水稻图像分割成297个子图像（每个图像大小为512 ×512×3），对预训练的模型进行训练。
为了验证模型在各种成像条件下的适用性，将HOG-SVM、EfficientDet和Faster R-CNN应用于其余图像和在不同日期采集的三个额外数据集，用于模型测试。HOG-SVM、EfficientDet和Faster R-CNN对水稻幼苗的检测结果表明，Faster R-CNNs的检测性能最好，前三个测试数据集的mAP分别为0.888、0.981和0.986，mIoU分别为0.637、0.686和0.871。此外，EfficientDet具有很好的结果，在前三个测试数据集上，mAP分别为0.837、0.965和0.903，mIoU分别为0.575、0.631和0.537，并且它的计算速度最快，接近每秒30帧。此外，这两个基于CNN的模型具有可接受的检测结果，在第四个数据集上分别为0.744 mAP和0.357 mIoU（EfficientDet）以及0.739 mAP和0.382 mIoU（Faster RCNN），尽管测试数据集和训练数据集之间存在巨大差异。EfficientDet尤其表现出最高的鲁棒性，以最大限度地减少图像方差的影响。总体而言，使用具有实时计算性能的两个基于CNN的模型都可以很好地检测水稻幼苗。相反，HOG-SVM只给出了一个计算时间长的足够结果。
进一步的研究将集中在检测光照、色调、色温、模糊和噪声等成像条件下更具多样性的水稻幼苗。可以使用这些附加图像对模型进行再训练，以适应更多的图像变化。此外，需要优化模型参数以减少计算时间并提高预测精度，从而使模型能够部署在资源紧张的环境中。
Data Availability Statement: In this study , the training data are openly available in "Rice Seedling Datasets" at doi:10.3390/rs13071358(A UAV Open Dataset of Rice Paddies for Deep Learning Practice)