【导读】
传统电力巡检又慢又累还看漏，AI+无人机如何搞定？ 这篇论文提出了一个基于前沿YOLOv8的实时检测框架，不仅能用无人机一眼精准锁定细如发丝的电力线，还能当场算出身旁植被的"危险系数"，把山火风险扼杀在萌芽中。
电力线在接触树木时可能产生火花，原因包括弧垂、树木生长以及自然灾害期间的恶劣天气条件。树木接触电力线产生的火花已被确定为近年来加州一些最具破坏性野火的重要原因，以及2023年毁灭性的毛伊岛大火的原因。美国电网拥有超过50万英里的高压输电线路和500万英里的配电线路，并且随着脱碳倡议的推进仍在快速增长。检查如此庞大的基础设施既费力又耗时，依赖于传统方法，如人工巡检和直升机巡查，这些方法已使用数十年。地面巡检可以进行彻底评估，但速度慢且成本高，而直升机巡查可以快速覆盖更多区域，但检测精度较低。这两种方法都严重依赖人眼视觉观察，增加了漏检或误判的风险。
本文提出了一种基于无人机图像的自动实时电力线检测框架 。它能够准确地检测带有紧密边框的电力线，定量评估附近植被的侵扰情况，并在检测到风险时发送基于位置的警报。主要贡献如下所列。
- 我们引入了PowerLine-YOLOv8 (PL-YOLOv8) ，这是YOLOv8算法的一个增强版本，专为电力线检测的具体挑战而定制。该模型集成了一个新颖的方向块，该块由使用从方向滤波器库导出的参数和大小初始化的卷积层组成。该滤波器库使用专门的方向滤波器，旨在检测电力线及其邻近区域的方向和纹理，从而提高OBB的准确性以实现精确定位。
- PL-YOLOv8是YOLOv8的OBB功能首次专门针对电力线提取进行的适配，解决了实时检测与精确、紧密边界框之间的权衡问题。为了训练，我们开发了一个包含分割图像块和自定义OBB注释的数据集，专门为精确的电力线检测任务设计。该数据集使用输电塔和电力线航空（TTPLA）图像数据集进行定制，该数据集具有电力线的高分辨率无人机图像。
- 我们还提出了一种后处理算法，该算法开发了一种植被侵扰度量，用于评估航空图像中植被与电力线的接近程度。该度量利用OBB检测位置和图像数据，如RGB指数、纹理分析和亮度测量。它为使用基于深度学习的分割方法进行树木检测这一密集型任务提供了一个有效的替代方案。
- 所提出的软件框架设计用于部署在无人机机载处理器上。它仅在植被度量超过预定义阈值或请求实时查看时传输全球定位系统（GPS）位置和基本图像数据。这种基于位置的警报系统最大限度地减少了数据传输，降低了无线通信负载，并确保了高质量的图像传输。其详细、灵活的视图和低通信需求使其成为监测输电和配电线路的理想选择。
论文标题：
Advanced YOLO-based Real-time Power Line Detection for Vegetation Management
论文 链接 ：
所提出框架的概要
我们提出的框架引入了一个端到端的解决方案来管理电力线巡检和植被侵扰，如图1所示。具体来说，该软件按以下方式处理图像数据。
- 步骤 1： 无人机（UAV）获取电力线图像，同时记录其GPS位置。这些数据（图像加坐标）被实时捕获，并可以存储在无人机机载处理器的本地。
- 步骤 2： 机载的PL-YOLOv8算法分析这些图像以检测电力线，产生精确勾勒出检测到的线路的定向边界框（OBB）。PL-YOLOv8在所提出的数据集上进行了预训练，或根据需要辅以额外的数据集。
- 步骤 3： 植被侵扰度量模块分析检测到的OBB周围的邻近像素，以评估植被相对于电力线的接近程度或密度。然后，它计算一个量化潜在风险的侵扰度量。
- 步骤 4： 系统根据预定义的阈值检查这些度量。如果任何度量超过可接受限度，则会触发警报事件。一旦报警，无人机会通过基站将相关图像和相应的GPS坐标转发到监控中心。因此，操作员可以近乎实时地访问关键数据，判断是否需要立即采取行动。
通过将PL-YOLOv8和度量计算模块直接嵌入到无人机上，该工作流程减轻了无人机、基站和监控中心之间的通信负载，同时保持了图像质量。如果需要实时查看，系统还可以通过无线链路流式传输选定的帧或传感器数据。
用于电力线检测的先进PL-YOLOV8
先前的目标检测算法，例如原始的基于区域的CNN（R-CNN）及其后续版本（Fast R-CNN, Faster R-CNN），通常采用两阶段过程。定位阶段采用区域提议机制来 pinpoint（精确定位）可能包含对象的区域。这引导后续的神经网络集中处理这些区域，并在其中执行分类和回归任务。这种方法通过大量的区域提议实现了高精度，但也极大地限制了时间效率。YOLO通过采用端到端的神经网络彻底改变了实时应用，该网络同时预测边界框和类别概率。YOLOv8在此基础上通过优化架构来改进不同尺度的目标检测。它使用先进的卷积层和空间金字塔池化（SPP）来实现更好的上下文化和空间层次结构保留。
图2显示了PL-YOLOv8网络，它由三个主要组件组成：骨干（backbone）、颈部（neck）和头部（head）。在骨干网络的开头加入了一个方向块（directional block），增强了标准的YOLOv8。
实验结果
所提出的框架使用Python 3.10开发和演示，利用了其对深度学习和计算机视觉应用的库支持。模型设计和实现使用PyTorch进行，Spyder作为开发环境，Anaconda用于环境管理。使用一个全面的公共电力基础设施数据集TTPLA ,证明了所提出的PL-YOLOv8和植被侵扰度量的有效性。该数据集包含从美国两个州收集的输电塔和电力线的无人机低空航空图像。我们将数据集预处理成适当的图像大小，并生成了相应的OBB注释。数据集预处理、检测结果、评估和评定如下所述。
- 数据预处理
TTPLA数据集包含1,242张分辨率为3,840 × 2,160像素的图像，并包括手动标记的10,075个电力线实例。它可用于检测和分割任务。出于我们的目的，我们仅使用了电力线数据。我们开发了一种自动标记方法，将分割注释转换为OBB注释。分割注释是由沿着实例边缘的一组点形成的多边形。我们使用OpenCV中的convexHull和minAreaRect函数来生成包围多边形的OBB。图9展示了原始的多边形注释（蓝色）和新生成的OBB注释（红色）。这些OBB注释有效地将电力线包围在最小的矩形区域内，展示了它们的有效性。
- 电力线检测结果
我们使用不同的数据集和模型进行了各种训练场景以评估性能。使用原始和预处理的TTPLA数据集分别训练标准YOLOv8模型和提出的PL-YOLOv8模型，涵盖四种不同的模型大小：nano (n)、small (s)、medium (m) 和 large (l)。它们通过深度和宽度因子（d和w）进行缩放，这些因子决定了网络中的层数（深度）和每层的通道数（宽度），从而产生不同数量的参数，如表III所示。
此外，我们研究了使用不同训练模式时方向块增强对PL-YOLOv8(s)的影响。表IV展示了结果。虽然冻结方向滤波器层确保了深层一致的方向特征提取，但由于灵活性较差，其性能与原始YOLO模型相似。
图11d展示了YOLOv8(l)未检测到的额外电力线。这些线路要么表现出非典型特征（如连接到绝缘子的线路），要么在复杂或混乱的背景下特征微弱。增强型PL-YOLOv8模型的卓越性能归因于方向滤波器，它们擅长从各种方向和复杂纹理中提取特征。
图12直观地展示了这些方向滤波器在0°、45°和90°方向提取的二值化纹理，展示了它们在特征检测方面的有效性。图11e说明了YOLOv8(l)和PL-YOLOv8(l)模型均未检测到的电力线案例。这些案例的线路特征微弱，要么距离太远无法检测，要么被复杂的输电塔结构或树枝遮挡，使得检测具有挑战性。
- 实时检测能力评估
通过在NVIDIA GeForce RTX 4060笔记本电脑GPU（8188 MiB）上测试它们的帧率来评估所提出模型的实时检测能力，结果如表II所示。虽然PL-YOLOv8模型通常产生比标准YOLOv8更低的FPS，但PL-YOLOv8(n)模型保持了97 FPS的高性能，这远超过典型的实时阈值15-30 FPS。虽然无人机处理器（例如Jetson模块）有更严格的功率和热约束，但这种性能余量允许有效的降尺度。进一步的优化，例如TensorRT部署，可以增强在嵌入式平台（例如Nvidia Jetson Xavier NX）上的FPS性能。该评估证明了所提出模型能够进行准确、实时的电力线检测，显示了其在无人机现场应用中的潜力。
- 植被侵扰度量方法评估
使用测试数据集中的1,000张图像评估了植被侵扰度量方法。通过使用PL-YOLOv8的电力线检测结果评估植被与电力线的接近程度，计算了每张图像的植被侵扰度量。植被侵扰度量的示例如图13所示，展示了这些值如何指示植被侵扰的趋势。
为了找到最佳阈值，我们绘制了精确率、召回率和F1分数，如图14a所示。确定最佳阈值为0.81，此时F1分数最高。在此阈值下的评估指标呈现在表V中。
图14b说明了接收者操作特征（ROC）曲线，该曲线显示了分类模型在所有阈值下的性能。该曲线绘制了真正例率（True Positive Rate）对假正例率（False Positive Rate）。ROC曲线下面积（AUC）表示模型在不同阈值下区分阳性（警报）和阴性（非警报）类的能力。0.83的AUC证明了模型的高区分能力，能有效区分有警报和无警报的图像。这一结果证明了所提出的植被侵扰度量在有效识别潜在风险方面的有效性。
图15说明了度量数据的分布，并提供了一个严重程度表示例，该表基于度量百分位数：
- 严重（Critical）： 大于第90百分位数（> 0.8791）。
- 重度（Severe）： 介于第75和第90百分位数之间（0.8450 - 0.8791）。
- 中度（Moderate）： 介于第50和第75百分位数之间（0.7961 - 0.8450）。
- 低度（Low）： 低于第50百分位数（< 0.7961）。
这种方法避免了使用硬性阈值，对于缺乏植被侵扰 ground truth 的数据集特别有用。它可以为公用事业公司提供严重程度等级，以优先安排维护计划，优化资源分配，并识别高风险区域以进行主动干预。
结论
我们提出了一个先进的基于YOLO的深度学习框架，用于利用无人机航空图像有效检测电力线并评估植被侵扰。该框架提供了一个PL-YOLOv8神经网络，它通过一个创新的方向块增强了传统的YOLOv8，用于高效提取复杂背景下细长电力线及其邻近区域的微弱特征。此外，它是首个使用OBB检测电力线的方法，提供了高精度的精确定位。对比分析表明，所提出的PL-YOLOv8(n)模型实现了78.24%的AP50和97 FPS的帧率。此外，还引入了一种植被侵扰度量方法，基于OBB位置评估附近植被与电力线的接近程度。该方法通过利用图像RGB指数、纹理和亮度来评估植被侵扰，为复杂的树木检测分割任务提供了一种简单有效的替代方案。结果证明了其良好的有效性，在我们的数据集中取得了0.71的准确率和0.52的F1分数。