【导读】
在城市化快速发展的今天，道路"看起来没问题"，但地下却可能暗藏危机。路面下层病害（RSD）已成为影响道路安全的"隐形杀手"，而传统依赖人工判读的检测手段，不仅耗时长、效率低，还对专业经验高度依赖。
本文介绍了一项突破性研究------结合3D地面穿透雷达（GPR）与YOLOX深度学习模型 ，首次构建大规模高质量实地数据集，并创新性提出三模态交叉验证策略 。该方案在真实道路测试中实现98.6%召回率、90%工作量节省，为道路健康监测提供了高效、可靠的智能解决方案。
想了解这套系统是如何将深度学习"落地"到城市道路巡检中的？三模融合具体怎么操作？这篇文章带你一探究竟。
路面下层病害（RSD） 是指路面下方如基层、路基和土基中出现的结构缺陷，常见问题包括松散、层间脱离和空洞。这类缺陷一旦形成，不易通过常规手段修复，可能导致路面反复劣化、承载力下降，甚至坍塌。近年来，全球范围内因RSD导致的道路事故频发，尤其在城市交通密集区域，带来严重的安全隐患。因此，及时、高效地检测RSD成为道路工程中的重要任务。
地面穿透雷达（GPR） 作为一种非破坏性地下结构检测手段，在道路、桥梁和隧道的健康监测中广泛应用。它通过向地下发射电磁波，并分析反射信号来还原地下结构信息。GPR生成的数据以A扫描（一维波形）为基础，多个A扫描组成的三维矩阵可从不同方向切片，形成B扫描（纵向）、C扫描（水平）和D扫描（横向）图像。与传统图像不同，GPR图像难以直观识别异常，严重依赖人工判断，效率低下，且缺乏客观性。
深度学习方法在图像识别领域的突破为RSD识别带来了新思路。从AlexNet、Bi-LSTM到残差网络，各种模型相继被用于分析B扫描图像。引入注意力机制和迁移学习后，模型准确性进一步提升。在检测任务中，Faster R-CNN等两阶段模型精度高，YOLO系列等单阶段模型因效率更高而成为主流。YOLOv2~v5不断演进，在GPR图像分析中表现稳定。不过，尽管基于Transformer的模型效果更好，但计算成本高，限制了工程应用。
相比之下，三维GPR数据能提供更丰富的结构信息，但因可视化和训练难度较高，目前应用仍有限。有研究尝试将不同扫描平面图像融合为多视角图像输入模型，但仅靠简单拼接特征，未能有效利用多视角信息，甚至引入干扰。
目前的研究面临两个主要瓶颈：（1）缺乏规模大、视角丰富的真实场景数据集；（2）模型在利用多视角信息上存在不足。已有研究使用的多为小数据集，或仅标注了B扫描，识别准确率难以满足实际需求。
为解决上述问题，本研究构建了一个由专业人员标注的大型现场扫描数据集，并分别训练了基于YOLO的B/C/D扫描图像模型。实验发现，不同扫描视图对应不同类型缺陷的检测更敏感。基于此，我们提出一种多视角交叉验证策略，综合不同视图模型输出，有效提升了检测准确率和稳定性。现场测试结果表明，该方法能够满足实际道路健康监测的需求。
论文标题：
Automatic Road Subsurface Distress Recognition from Ground Penetrating Radar Images using Deep Learning-based Cross-verification
论文链接：
研究方法
多视角扫描数据集的构建
通过对我国两个特大城市------成都和广州的城市道路进行实地调查，构建了一个大规模数据集。这两个城市均拥有庞大的人口规模（约两千万）和高度发达的道路交通系统。GPR数据通过配备StreamUP多通道GPR系统的专用车辆，从105个典型城市道路路段（总长度1,250公里）采集。表II列出了GPR系统及图像采集的关键参数。这些路段经过精心选取，以涵盖多种道路类型、交通流量、气候条件及使用年限。数据集包含553个健康部分实例、539个空洞案例、536个松散结构案例及506个检查井案例。所有样本均由经验丰富的工程师在三视图扫描中进行标注。为确保损坏标注的精准度和可靠性，部分外观模糊的样本通过取芯采样进行验证。
图2展示了三种扫描中健康部件的典型样本，以及含有松散结构、空洞和检查井的样本。松散结构在C扫描的色图中表现为碎片状斑点，而在B扫描和D扫描中则无法辨别。空洞在C-扫描中呈现为形状不规则、边缘锐利的斑块。在其他两种视图中，它表现为钟形波纹。当空洞尺寸较大时，波纹会更加明显。井口在C-扫描中表现为形状规则的斑块。在B扫描和D扫描中，相应的波纹与空洞相似，但外观更明显且形状规则。值得注意的是，由层间剥离引起的空洞图像与GPR图像中的空洞几乎相同。尽管它们的形成机制不同，但在实际道路安全检查中，它们常被视为相同的RSD。
目标检测模型
通过YOLOX模型对三组扫描图像进行分析，该模型是YOLOv3的无锚点衍生版本，与其他基于YOLO的模型相比，在速度和准确性方面均有显著提升。图3展示了YOLOX的架构，包括骨干网络、颈部网络和头部网络。特征提取由骨干网络模块完成，该模块包含基础单元，包括Focus、CBS（包括卷积、批量归一化和SILU激活函数）、跨阶段部分网络（CSP）和空间金字塔池化（SPP）在CSP中，瓶颈单元（ResNet中的结构单元）被用于增强网络架构的非线性性同时降低计算复杂度。
主干模块生成三张有效特征图，每张图都是输入图像尺寸的1/8、1/16和1/32等不同尺度特征的集合。在颈部模块中，有效特征与上采样和下采样特征融合，生成三张包含更丰富信息的增强特征图。头部模块作为分类器和回归器，用于确定特征是否指示特定对象。三个解耦头部分别处理三种尺度的特征图，每个头部生成三种预测： (i)Reg用于确定回归参数以预测边界框；(ii) Obj用于评估每个特征点是否属于特定物体；(iii) Cls用于识别物体类别。三个预测结果被组合以生成输出。最后，采用非最大抑制算法消除冗余检测结果，识别最佳匹配，并获得最终检测结果。
交叉验证策略
可以观察到，异常结构在C扫描中更易于区分（见图2中的示例）。使用C扫描数据训练的模型（Model-C）也对有RSD（或检查井）和无RSD的斑点之间的差异表现出更高的敏感性。因此，Model-C的识别结果可作为判断被检测区域是否存在RSD的标准。Model-B（基于B扫描数据训练）的识别结果用于区分RSD与人孔，因该区域的模式可提供可靠参考。模型D（基于D扫描数据训练）的识别结果是区分空洞与松散结构的必要补充。图4展示了基于多视角扫描识别结果的交叉验证策略的工作流程。
该策略可概括为三步流程：
(i)根据模型C的识别结果筛选出健康区域；(ii) 根据模型B的识别结果从非健康实例中过滤出检查井；(iii) 剩余缺陷根据模型D的识别结果分类为空洞或松散结构。
在线道路健康监测系统
提出的跨视角扫描交叉验证方法已被集成到在线道路健康监测系统中。图5展示了系统的架构，其中前端（用户交互）和后端（数据分析）通过Flask连接。收集的3D GPR数据首先上传至云服务器，该服务器可被部署有处理软件（如IQMaps和PyTorch）的工作站访问。C扫描、B扫描和D扫描的片段随后通过滑动窗口自动提取，并输入深度学习模型。交叉验证的结果存储回云服务器的数据库中。用户可访问数据库，查看检测到的RSD以及对应的GPR图像，以验证或纠正识别结果。该系统处于alpha测试阶段，可高效处理 GPR 数据，并以高可靠性满足大规模 RSD 检测的需求，如本方法的现场测试（第3.3 节）所描述。此外，系统的模块化设计便于扩展数据源，即由各种类型 GPR 仪器获取的数据。
实现与验证
网络训练
构建的数据集通过分层随机采样按80%:20%的比例划分为训练集和测试集。训练集包含所有四类具有显著特征的样本，而测试集与训练集严格不重叠，包含各类样本以评估三个模型的泛化能力。在训练阶段采用了数据增强技术以提升模型鲁棒性并缓解过拟合。对训练数据应用了一系列变换以生成更多样化的样本，包括：(i) 随机旋转：每张图像在[-15°, 15°]范围内旋转，以模拟扫描方向与道路方向之间角度的变异； (ii) 水平/垂直翻转：对水平和垂直轴进行镜像变换，以丰富样本多样性。在图像旋转过程中，采用双线性插值和零填充分别用于图像重采样和维度一致性。数据增强过程中，标注边界框的坐标和维度也相应调整。三个模型（Model-B、Model-C 和 Model-D）分别使用对应的扫描数据独立训练。训练在配备双 Intel Xeon E5-2680v4 CPU和八个 NVIDIA Tesla M40 GPU 的工作站上进行。每个模型训练 400 个 epoch 以确保收敛。
图 6 显示了三个模型训练过程中损失的演变。损失曲线在前80个 epoch 中急剧下降，随后逐渐趋于平稳并保持在较低值。模型D的收敛性似乎不如模型B和模型C，这可能因为空洞和松散结构更难区分。模型B的训练时长为819分钟，模型C为876分钟，模型D为609分钟。
测试子集评估
交并比（IoU）是物体检测中边界框回归最常用的评估指标之一。它表示预测边界框BP与真实边界框Bg之间交集面积与并集面积的比值：
在本研究中，若IoU不小于0.5，则预测结果被视为正确；否则视为错误。随后计算精度和召回率进行模型评估：
其中TP（真实阳性）表示正确检测到的异常数量。FP（假阳性）是错误地将非紧急情况识别为紧急情况的数量。FN（假阴性）是错误地将紧急情况识别为非紧急情况的数量。精度和召回率从不同角度量化了模型性能的可靠性。前者反映了模型在检测正样本（RSD）时的准确性。高精度表明模型对负样本（如井盖）的干扰具有较强的抗干扰能力。召回率衡量模型对正样本的敏感性。高召回率意味着检测中遗漏的缺陷较少。在道路安全检查中，高召回率对于确保识别涵盖所有潜在危险更为关键。
表III和表IV列出了各模型单独及交叉验证策略下实现的精度和召回率。
模型C在区分健康部件与含缺陷区域时表现出色。其识别健康部件的精度和召回率分别达到100%和91.8%，且未出现缺陷误判。模型B在区分检查井与缺陷时实现97.1%的精度和100%的召回率，有效消除了检查井对RSD检测的干扰。与其他模型相比，模型D在区分RSD类型方面表现更佳。特别是，其在识别空洞时的精度和召回率分别达到85.9%和79.4%，显著高于模型B和模型C的水平。交叉验证策略利用了三个模型的各自优势。在步骤1中，其RSD检测的精度和召回率分别达到76.8%和69.6%。在第二步中，这两个指标的值进一步提升至95.8%和97.2%。在第三步结束时，RSD检测的精度和召回率分别达到95.9%和98.6%，在大型测试数据集上优于现有方法（见表I）。在空洞识别中，精度和召回率分别为88.2%和84.1%。在松散结构识别中，所提方法实现精度和召回率分别为78.0%和86.0%。
现场测试验证
为验证所提方法在实际应用中的适用性和稳定性，对广东省三个城市（珠海、广州和云浮）共15条道路（总长度69.416公里）的新GPR调查数据进行了测试。表V比较了经验丰富的检查员和我们的方法识别出的RSD数量。该交叉验证策略实现了100%的召回率，在所有15条道路上均未遗漏任何缺陷。我们的方法给出了部分RSD的假阳性结果，即少数健康部分或检查井被识别为缺陷。然而，在处理每条道路时，误识别实例的数量在可接受范围内，从几个到几十个不等。
表VI比较了人工检查和自动处理所耗费的时间。人工检查总共耗时1128分钟（约19小时，即2.5个工作日）。相比之下，在道路健康监测系统上审查自动处理结果仅需101分钟（不到2小时），这表明劳动力节约了约90%。值得注意的是，自动处理似乎甚至比人工检查效率更低，处理15条道路的所有GPR图像共耗时1560分钟。主要原因是测试在工作站（成本约6,000美元）上运行，其计算性能远低于最新工作站（成本高出五倍）。此外，硬件的成本效益允许部署多台工作站，通过并行处理可大幅加速数据处理速度。
结论
本研究展示了一种高效可靠的自动检测道路地下损坏的方法，基于3D GPR数据。取得了若干突破性进展。通过对中国两个大都市（成都和广州）的105个典型城市道路段（总长1,250公里）的实地调查，构建了大规模3D GPR数据集。该数据集中包含2134个各类样本（包括553个健康部分、539个空洞、536个松散结构及506个检查井），均由专业人员进行标注。部分可能存在的缺陷通过取芯采样进行了验证。据我们所知，尚未有类似规模和质量的GPR数据集被报道。研究表明，使用高质量数据集训练的深度学习模型在自动RSD检测中可实现卓越性能。提出了一种基于多视角扫描的新型交叉验证策略用于RSD识别。根据我们的研究发现，基于区域的卷积神经网络（YOLOX）在B扫描、C扫描和D扫描中对特定道路路面下缺陷的敏感性存在差异，因此将分别基于三种扫描数据独立训练的三个模型依次组合，以充分发挥各自优势。所提交叉验证策略在RSD识别中实现了整体召回率和精确率分别为98.6%和95.9%。在中国三个城市（珠海、广州和云浮）的15个路段进行的现场测试中，该方法实现了100%的召回率，未遗漏任何RSD缺陷。该方法已集成到一个在线路面基层健康监测系统中，该系统目前处于alpha测试阶段，预计不久将推向市场。该软件设计在GPR数据处理方面具有高度灵活性，并为检测人员提供了友好的用户界面。实验表明，一种结合自动处理GPR数据后进行人工复核的新工作流程，可将检测工作量减少约90%，且不会降低RSD识别可靠性。该方法很好地满足了大规模检测的需求。