【导读】
本研究提出了一种基于YOLO集成模型与多光谱图像融合 的无人机检测方法，通过融合可见光与热红外数据并结合通用YOLOv8模型与专用热成像模型，显著提升了风电部件缺陷的识别精度。
无人机巡检具有显著优势，但也带来复杂挑战。海量数据需要实时或近实时处理。强风、眩光、阴影及与风电部件（WTCs）间不断变化的距离等环境因素，要求系统具备先进的图像稳定技术和高算力来可靠识别缺陷8。在此条件下，必须采用鲁棒的智能算法从多光谱数据中精准检测各类缺陷。
本研究旨在通过开发并评估一种新型集成深度学习方法，利用无人机获取的融合多光谱（RGB与红外）数据，提升风电部件缺陷检测的准确性与可靠性。
本论文的主要贡献包括：
- 提出多光谱图像融合技术，融合无人机巡检获取的RGB与热红外数据，生成能增强各类缺陷可见度的、丰富的图像表示；
- 创新性集成学习方法：结合前沿YOLOv8模型与专用热成像模型，采用精密边界框融合算法提升整体检测精度与鲁棒性；
- 通过全面实验验证，证明所提集成方法相较于基线单模型和先进目标检测器的卓越性能。
论文标题：
YOLO Ensemble for UAV-based Multispectral Defect Detection in Wind Turbine Components
论文 链接 ：
方法
基于YOLO模型集成 进行风电缺陷检测的构建与评估方法，我们通过集成高分辨率可见光（RGB）与热红外（IR）数据通道，利用多光谱图像的互补优势。如图1所示，整体工作流程包含四个关键阶段：数据采集、多光谱图像融合、并行模型训练，以及最终通过集成融合阶段将输出合并为单一鲁棒预测。
- YOLOv8模型训练与专用模型
核心检测任务选择YOLOv8架构，因其在高速推理与顶尖精度间取得卓越平衡，非常适合近实时无人机巡检应用。模型在包含标准RGB图像和融合多光谱图像的综合数据集上训练，可识别三类关键缺陷：
- 裂纹（C1）： 风电部件材料的结构裂缝，会损害气动完整性并导致灾难性故障
- 腐蚀（C2）： 金属表面的氧化退化（主要发生在塔筒和叶根连接处），随时间推移会削弱结构强度
- 过热（C3）： 通过IR通道检测的温度异常，通常指示机舱内机械或电气部件故障
在Coovally 模型训练平台集成 1000+主流模型，为用户提供从训练到部署的一站式解决方案，大幅降低算法选型和工程实现的复杂度。
**
**
！！点击下方链接，立即体验Coovally！！
平台链接： www.coovally.com
在实际使用中，开发者还可以借助 Coovally 平台， 通过 SSH 协议使用熟悉的工具（如 VS Code、Cursor、WindTerm 等）远程连接 Coovally 云端算力资源，进行实时代码开发与调试，享受本地级操作体验的同时，充分利用平台提供的高性能 GPU 加速训练过程。
实验结果
- 实验设置
我们的训练数据集基于公开的Blade30数据集构建，该数据集包含1,102张包含裂纹和腐蚀的图像。为增强模型能力，我们额外添加了670张专门捕获过热事件的图像进行数据增强。训练过程采用Adam优化器，学习率α=0.001，并采用早停策略防止过拟合。为进一步提升检测鲁棒性，我们训练了第二个专用模型Mt。该模型专门在红外数据上训练，从而对细微热梯度变化具有更高敏感性------这些变化可能被处理融合数据的通用模型忽略。
使用标准目标检测指标确保稳健且公平的性能比较，包括：(i) 平均精度均值mAP@.5、(ii) mAP@.5:.95、(iii) 精确度、(iv) F1分数。
- 单一模型与集成模型性能对比
研究旨在评估从单一高性能检测器转向专用集成方案带来的性能提升，详细对比结果见表I。单一YOLOv8模型建立了强劲基线，达到0.91的mAP@.5和0.88的平均F1分数，表明其在所有缺陷类别上均具备良好能力。我们提出的集成方法实现了一致提升，将mAP@.5提升至0.93，更严格的mAP@.5:.95指标提升至0.79。这相当于mAP@.5相对提升2.2%，要求更高的mAP@.5:.95指标提升3.9%。
特定缺陷类别的提升尤为显著。"裂纹"（C1）的F1分数从0.90提升至0.92；"过热"（C3）类别的F1分数从0.86升至0.89，凸显了专用热成像模型（Mt）的价值------其在识别热异常方面的专长弥补了通用检测器的局限性。集成方法在减少假阴性和假阳性方面的能力证实了其在此应用中的卓越鲁棒性与可靠性。
- 与先进方法的对比
我们进一步将提出的集成方法与几种成熟目标检测架构进行对比：Faster R-CNN、Cascade R-CNN和EfficientDet。为直接对比，所有模型均在相同的融合多光谱数据集上训练，结果汇总于表II。
评估表明，虽然两阶段检测器具有鲁棒性（Faster R-CNN和Cascade R-CNN分别获得0.89和0.90的mAP@.5分数），但现代单阶段模型在此任务中更有效。EfficientDet-D1和我们的基线单YOLOv8模型均达到0.91的mAP@.5。
我们提出的集成方法超越了所有其他模型，实现了0.93的最高mAP@.5和0.79的mAP@.5:.95。这一性能提升凸显了我们方法的价值。集成方法充分利用YOLOv8的特征提取能力，同时借助专用热成像模型（Mt）准确检测具有细微热特征的缺陷。
- 定性分析
为补充定量指标，图2展示了标准RGB图像与我们的系统生成的融合多光谱图像在缺陷检测上的视觉对比。融合的优势在可见光缺陷检测中显而易见：对于涡轮叶片，标准RGB图像（图2a）显示了裂纹，但其可见度受阴影和表面纹理影响；融合图像（图2b）显著增强了裂缝线的对比度，使集成模型能生成更精确、高置信度的边界框。类似地，对于塔筒，融合图像（图2d）通过使细微表面退化在背景中更明显，相比原始图像（图2c）改善了腐蚀检测。
该系统在识别标准图像中不可见缺陷方面表现尤为突出。在转子毂上，RGB视图（图2e）看似正常，但融合过程揭示了指示结构应力的细微热模式（图2f）。最关键的是，电机部件的RGB图像未显示明显损伤迹象（图2g），而融合图像清晰显示出独特的热斑（图2h）------这是标准视觉检测会遗漏的关键缺陷。
Coovally平台还可以直接查看"实验日志"。提供直观的可视化训练界面，清晰设置参数，监控训练过程（Loss, mAP等指标实时可视化）。
并行实验，效率倍增！ 一键发起多个训练任务并行运行，结果一目了然，快速锁定候选者。支持分布式训练，充分利用硬件资源，大幅缩短训练时间。
讨论
实验结果证实我们的集成学习方法推进了风力发电机自动检测技术。通过集成通用YOLOv8模型与专用热成像模型（Mt），我们的方法实现了0.90的平均F1分数，优于单模型架构。本研究基于先前验证RGB-IR融合的研究，通过引入结构化集成系统性地结合了单阶段检测器的速度与专用模型的精度，相比使用Cascade R-CNN等单一复杂架构有所改进。
主要优势在于增强了对纯RGB图像中常被遗漏缺陷的检测能力，例如被阴影遮蔽的细微裂纹和可见光谱中不可见的过热异常。这种多模态协同提供了更全面的诊断工具，直接解决了依赖单一光谱范围系统的局限性。然而，这种改进的精度也带来了更高的计算复杂度和更长的推理时间，这对计算资源受限的无人机实时部署构成了权衡。
结论
本研究开发并验证了一种基于集成学习的深度学习方法，通过使用融合多光谱无人机图像实现风电厂高精度缺陷检测。通过先进的边界框融合算法将基线YOLOv8模型与专用热成像模型相集成，我们的系统在诊断精度上超越了单模型方法。实验结果证明了其有效性：实现了0.90的平均F1分数和0.93的平均精度均值（mAP@.5）。热成像数据的整合证明特别有效，能够识别纯RGB检测中常被遗漏的10过热、内部裂纹和腐蚀问题。尽管存在计算开销、传感器配准要求和环境敏感性等限制，我们的工作为自动化检测建立了更稳健的方法。
未来研究将重点优化集成模型以实现实时边缘部署，并采用更先进的数据融合技术来抑制噪声和配准误差。