数据稀缺?不存在的!手把手教你用ChatGPT+Stable Diffusion合成铁路异物检测数据集

今年国庆中秋双节叠加,铁路出行需求旺盛,全国多地高铁客流预计将创历史新高。长三角铁路预计发送旅客4250万人次,最高峰日预计发送430万人次;深圳铁路预计发送旅客452.5万人次;铁路上海站预计发送625万人次,最高峰日或达79.5万人次;铁路南京站预计发送405万人次。这些数据反映了节假日运输压力的持续增长,也对铁路运营效率提出了更高要求。

人工智能模型通过分析输电线路上异物的图像数据,在铁路基础设施的监测和维护中发挥着关键作用。

摘要

铁路输电线路的安全运行对现代轨道交通至关重要,然而外来物体(如塑料袋、风筝、鸟巢、气球等)接触或缠绕线路可能导致短路、停电甚至列车延误。目前,铁路外来物检测面临数据稀缺、标注困难、数据共享受限等挑战,限制了基于深度学习的目标检测模型的发展与应用。

研究表明,鸟巢会对电力线路的绝缘性能产生不利影响。最后,有大量关于气球引起电气事故的报道,主要是因为它们不受控制的漂浮行为使其与电力线路接触。综上所述,铁路输电线路上常见的异物包括:(1)塑料袋:这些轻质物品容易被风吹动,可能缠住输电线路,带来安全风险(见图1a)。(2)飘动物体:风筝、系留帆布和织物材料等物体在风中能够飘动或振动,对电力线路构成潜在威胁(见图1b)。(3)鸟巢:鸟巢可能导致短路、故障,或危及鸟类自身(见图1c)。(4)气球:由于其轻质和漂浮的特性,如果气球缠住输电线路,可能会导致线路故障(见图1d)。

数据采集

本文提出了一个名为 RailFOD23 的公开数据集,专门用于铁路输电线路上的外来物检测。该数据集包含 14,615张高分辨率图像,标注了 40,541个目标对象,涵盖四类常见外来物。为解决数据稀缺问题,研究团队创新性地结合了三种数据生成方法:

  • 人工合成(PS-based):使用Photoshop手动合成异物图像

使用Python 从微图图库(cn.bing.com/images)抓取了约... Photoshop(PS)软件合成了 412 张输电线路异常图像,如图2所示。

  • AIGC生成(AIGC-based):利用ChatGPT生成多样化的文本描述,再通过Stable Diffusion生成图像

如图3所示,为了降低训练成本,本文通过当前热门的三个通用模型,依次进行批量文本生成、图像生成、图像超分辨率任务。

  • 图像增强与合成(AUG-based):基于Railsem19数据集,使用CDTNet进行图像融合与协调

将异物手动添加到背景图像上是一种有效的方法,这种方法能够在特定场景下获取异物数据,但对于大规模图像存在以下局限性:(1)手动进行图像编辑是一项复杂的工作,需要耗费大量时间和精力。(2)添加的异物图像和背景图像可能存在显著差异,这需要人工去调整图像属性,进一步增加了人工工作量。(3)合成后的异物图像仍需进行标注。因此,提出了一种自动图像合成方法,该方法能够自动生成标注文件和协调好的图像,如图5所示。

数据集以COCO格式发布,并提供了多个主流检测模型(如YOLO系列、Faster R-CNN、DETR等)的基准测试结果。实验表明,YOLOv8系列模型在该数据集上表现最佳(mAP达82.9%),验证了数据集的实用性和模型的可行性。

实验结果

为了展示在RailFOD23数据集上应用先进目标检测技术的性能,以验证深度学习在输电线路异物检测中的可行性,我们采用模型微调技术对主流模型进行训练。实验的训练设备是单卡 Tesla P100,训练所使用的框架是 mmdetection。训练的批量大小设为 8,轮数为 40,学习率为 0.001。此外,在微调阶段选择了预训练权重,这些权重是通过在 COCO2017数据集上训练得到的。

  • YOLOv8-l 和 YOLOv8-s 表现最佳,mAP分别达到82.9%和82.2%,在高速推理的同时保持高精度。
  • YOLOv7系列表现较差,可能因模型结构或训练策略不适应本数据集。
  • 两阶段检测器(如Faster R-CNN)在本任务上不如YOLO系列,可能因异物目标较小、背景复杂。

混淆矩阵分析来看:

  • YOLOv8-l 和 YOLOv8-s 在四类异物上识别准确率高,混淆较少。
  • 部分模型(如YOLOv5-s)在"飘扬物"与"塑料袋"之间存在一定误判,可能与物体形态相似有关。
  • "气球"类由于样本较少,在所有模型中均存在一定漏检或误检。

图10展示了在本文提及的数据集上训练后,YOLO v8 - l的部署情况。结果展示了在六个实际输电线路场景实例中对异物的检测。可以观察到,该模型的预测在物体类别分类以及边界框内的精确定位方面都表现出令人满意的准确性。

结论

本文成功构建并发布了铁路输电线路外来物检测数据集 RailFOD23,该数据集通过多种数据生成与增强技术,有效解决了铁路图像数据稀缺的问题。数据集的多样性和高质量标注为训练鲁棒的外来物检测模型提供了坚实基础。

通过在多类主流检测模型上的系统验证,证明了该数据集的实用性和推广价值。特别是YOLOv8系列模型在该任务上表现出色,为实际部署提供了可行方案。未来,该数据集可进一步用于半监督学习、小目标检测、跨域适应等研究方向,推动铁路智能运维技术的发展。

相关推荐
西阳未落3 小时前
图的遍历:从深度优先到广度优先
算法·深度优先
高山有多高3 小时前
C语言实战项目:贪吃蛇(1)
c语言·开发语言·数据结构·c++·算法·游戏
微笑尅乐3 小时前
多种解法全解析——力扣217. 存在重复元素
算法·leetcode·职场和发展
Jiezcode3 小时前
LeetCode 199.二叉树的右视图
c++·算法·leetcode·深度优先
10001hours3 小时前
C语言第23讲
c语言·开发语言·算法
大模型铲屎官3 小时前
【LangChain 核心组件指南 | Agent篇】从零到精通:深度解析 create_agent 与 ReAct 智能体构建
人工智能·python·深度学习·langchain·大模型·agent·react智能体
MoRanzhi12034 小时前
基于 SciPy 的矩阵运算与线性代数应用详解
人工智能·python·线性代数·算法·数学建模·矩阵·scipy
仰泳的熊猫4 小时前
LeetCode:239. 滑动窗口最大值
数据结构·c++·算法·leetcode
CoovallyAIHub4 小时前
版本号突袭!官方预览:YOLO26正式宣布,10月发布,CPU推理速度提升43%
深度学习·算法·计算机视觉