****论文题目:****Damage imaging in structural health monitoring with fine-tuned conditional diffusion model(微调条件扩散模型在结构健康监测中的损伤成像)
****期刊:****Mechanical Systems and Signal Processing
****摘要:****图像成像在结构健康监测(SHM)系统中起着至关重要的作用,以实现快速有效的损伤评估。延迟总和(DAS)波束形成是损伤成像无损检测中广泛使用的一种波束形成算法,但其有效性往往受到超声波换能器阵列稀疏和基于导波的方法在疲劳载荷下难以检测大于波长的渐进性分层的影响。虽然X射线成像提供了渐进分层的详细评估,但由于需要中断疲劳加载循环和其高昂的操作成本,其应用仍然受到限制。为此,我们提出了一种新的损伤成像框架,该框架使用微调的SHM系统的条件扩散模型(DI-CDM)。利用扩散模型强大的图像生成能力,通过将来自超声稀疏阵列数据的DAS波束形成图像与在复合材料结构疲劳加载循环期间捕获的X射线图像相结合,对框架进行了微调。该方法可以生成损伤图像,揭示疲劳加载过程中分层尺寸的变化过程。该框架通过数值模拟和来自NASA复合材料结构数据集的实验数据进行了验证,通过在SHM应用中应用扩散模型来实现快速、高分辨率的损伤成像,展示了其潜力和有效性。
用扩散模型为结构健康监测"画出"损伤:DI-CDM框架详解
背景:飞机复合材料结构的健康监测难题
现代航空航天结构大量采用碳纤维增强复合材料(CFRP),这类材料在长期疲劳载荷下容易产生分层(delamination)损伤。分层一旦扩展到临界尺寸,可能导致灾难性结构失效。因此,如何实时、准确地监测分层的形态与扩展,是结构健康监测(SHM)领域的核心挑战之一。
目前,工程界常用两类方法来应对这一问题:
- 超声导波 + 稀疏阵列成像:利用压电传感器(PZT)激励和接收超声导波,通过延迟求和(DAS)波束成形算法重建损伤图像。优点是可以永久集成到结构中进行原位监测,成本低;缺点是稀疏阵列分辨率有限,且当分层区域大于波长时,DAS成像结果往往模糊、定位不准。
- X射线成像 :能清晰呈现分层的真实形态,是目前的"金标准"。但每次X射线扫描都需要中断疲劳加载,操作成本极高,无法做到连续监测。
这两类方法各有优缺点,能否把它们的优势结合起来?这正是本文提出的 DI-CDM 框架要解决的问题。
现有方法的局限:为什么DAS和GAN都不够用?
DAS波束成形的瓶颈
DAS成像的基本原理是:对每个像素位置 ,将所有接收通道的信号按时间飞行(ToF)补偿后求和,得到该位置的图像强度
:

【图1------DAS波束成形原理示意图,展示损伤点反射波到达不同接收器的ToF差异及时延补偿机制】
这一方法在物理上直观清晰,但在实验中暴露出明显短板:
- 当分层区域逐渐扩大并超过波长时,入射导波被分层直接反射,无法穿透到达下方接收器阵列,导致DAS图像失去损伤区域的真实形态信息;
- 稀疏阵列(本文NASA实验中仅使用上下各6个PZT)的空间覆盖有限,造成成像伪影严重。
从实验数据(表4)可以清楚地看到:DAS在40,000个疲劳循环内,IoU值始终低于0.09,几乎无法有效追踪分层扩展。

【表4------实验结果定量对比表,展示DAS vs DI-CDM在IoU和SNR上的差异】
为什么不用GAN?
生成对抗网络(GAN)近年来被广泛用于SHM数据增强,但其在损伤成像任务上有两大固有缺陷:
- 训练不稳定:对抗损失容易导致梯度消失或模式崩溃(mode collapse),训练过程难以收敛;
- 功能局限:现有SHM领域的GAN工作几乎都停留在数据增强层面,直接用GAN生成可控的、物理一致的损伤图像仍是空白。
相比之下,去噪扩散概率模型(DDPM) 已被证明在图像生成任务上全面超越GAN,具有更稳定的训练过程和更高的生成质量。这正是本文选择扩散模型作为核心骨干的原因。
核心方法:DI-CDM框架
扩散模型的基本原理
扩散模型通过两个马尔可夫链实现图像生成:
前向过程 :逐步向原始数据 添加高斯噪声,经过 T 步后变成纯噪声
。关键性质是任意时刻的噪声数据可以从
直接计算:
反向过程 :训练一个神经网络 ,从纯噪声
出发,逐步预测并去除噪声,最终重建干净图像
。训练目标是最小化预测噪声与真实噪声之间的均方误差:
条件扩散模型(CDM) 在此基础上引入条件输入 y,使去噪过程受到外部信息的引导:
DI-CDM的整体架构

【图2------DI-CDM完整框架图,包含(a)整体pipeline和(b)UNet中的多模态融合机制】
DI-CDM框架的数据流如下:
训练阶段(Fine-tuning):
- 将X射线图像 (真实分层形态)输入预训练VAE编码器,提取潜在特征
;
- 向
逐步添加噪声得到
(前向扩散过程);
- 将DAS成像结果 通过CLIP-ViT图像编码器转为图像嵌入,将疲劳循环次数通过CLIP文本编码器转为文本嵌入,两者共同构成条件输入 y;
- 在UNet中,条件输入 y 通过交叉注意力机制与X射线特征融合,引导网络学习从噪声到损伤图像的反向映射;
- 仅更新UNet参数(通过LoRA),编码器和解码器保持冻结。
推理阶段(Inference):
- 输入:DAS图像 + 疲劳循环次数(无需X射线)
- 过程:从纯高斯噪声出发,经50步DDIM去噪,输出高分辨率损伤图像
- 输出:像素值范围为0,1的损伤概率热图
多模态融合:交叉注意力机制
UNet中的Transformer块是实现多模态融合的核心。其交叉注意力操作定义为:
其中,Query矩阵 来自X射线特征
,Key和Value矩阵
来自超声条件特征 y_t。这一设计使得模型能够动态地根据超声数据信息来校准X射线特征的注意力权重,实现两种模态的深度融合。

【图3------UNet中多模态融合机制详细示意图,包含Transformer块结构和交叉注意力层的逐步计算过程】
LoRA高效微调
直接对拥有数十亿参数的预训练扩散模型(Stable Diffusion v2,总参数量约8.68亿)进行全量微调,计算代价极高。本文采用低秩适应(LoRA)技术:冻结原有权重矩阵 ,将权重更新矩阵
分解为两个低秩矩阵的乘积:

【图4------LoRA微调与常规微调的对比示意图】
不同秩的LoRA可训练参数量对比如下(UNet总参数量868,443,332):

【表2------不同LoRA rank对应的可训练参数量及占比】
本文选择 rank = 32 ,此时仅需训练约500万参数,占总参数量的0.58% ,在参数效率和模型表现之间取得平衡。训练在KU Leuven高性能计算集群上使用 2×NVIDIA A100 80GB GPU 完成,损失曲线在约700个训练步后收敛。

【图10------LoRA微调训练过程,包含(a)损失曲线和(b)学习率变化曲线】
实验设置:NASA复合材料疲劳数据集
数据来源
实验数据来自斯坦福结构与复合材料实验室与NASA艾姆斯研究中心预测卓越中心(PCoE)联合开展的CFRP疲劳老化测试,是公开可用的基准数据集。
试件与测试配置
- 材料:碳纤维增强复合材料(CFRP),每层厚度0.132 mm
- 加载方式:拉-拉疲劳,正弦载荷,频率5 Hz,载荷比0.14
- 三种铺层方案 (见表1):
- L1:
(用于测试)
- L2:
(用于训练)
- L3:
(用于训练)
- L1:

【表1------材料属性与铺层信息汇总表】
- 传感器配置:每个试件表面贴附两组各6个PZT传感器(SMART层),形成稀疏阵列;上方6个为激励器,下方6个为接收器;共36条激励-接收路径,每条路径在150--450 kHz范围内7个频率激励。
- 成像区域:152像素(宽)× 178像素(高),对应实际尺寸约152 mm × 178 mm。
- 测试节点:在疲劳循环1、10k、20k、30k、40k处周期性暂停,同步采集PZT数据与X射线图像。

【图5------实验装置图和成像区域示意图,含PZT阵列布局和X射线扫描设置】
评估指标
交并比(IoU):量化预测损伤区域与X射线真值区域的重合程度,值越高越好:
其中 P 为模型输出中像素强度≥0.5的区域, 为X射线图像中的真实分层区域。
信噪比(SNR):量化损伤区域相对于背景噪声的清晰度,单位dB,值越高越好:
数值仿真验证
在进行真实实验验证之前,作者首先在Abaqus/Explicit有限元环境中建立了复合材料板的数值模型,以验证框架的有效性。
仿真设置
- 有限元网格:C3D8R单元,基础网格1 mm,分层附近加密至0.5 mm;
- 激励信号:250 kHz汉宁调制正弦脉冲;
- 模拟了5种递增的分层尺寸(Sim#1--5),对应真实分层像素数分别为450、800、1800、3200、5000像素。

【图6------数值仿真设置,包含(a)Abaqus模型、(b)分层区域放大图、(c)激励信号波形和(d)导波传播云图】
群速度估计
DAS成像的关键前提是准确估计导波群速度。考虑到试件较小(15.24 cm × 25.4 cm),反对称A₀模式速度过低、难以分辨损伤反射,本文选用对称S₀模式进行成像,激励频率250 kHz。
通过带通滤波(230--270 kHz)和Hilbert变换提取S₀波首达时间,在0°至360°共13个方向上估计群速度,并进行曲线拟合,得到角度依赖的速度场。


【图7------S₀波群速度估计流程图】
【图8------L1、L2、L3三个试件的数值仿真群速度雷达图】
仿真成像结果对比


【图9------数值仿真成像结果:(a) DAS成像结果,(b) 各仿真案例的真值二值图(Sim#1--5)】
【图11------DI-CDM仿真成像结果:(a) 生成的损伤图像,(b) 对应真值二值图】
从图9(a)可以看出,DAS成像结果中高强度区域从中心向边缘扩散,但与真实分层形状差异较大,IoU极低(最高仅0.1239)。这是由于上下水平稀疏阵列的对称布置导致成像存在固有伪影。
DI-CDM的成像结果(图11(a))则能够更好地聚焦于分层区域,随着条件输入权重增大,非分层区域的干扰逐渐减少。
定量对比结果如下:

【表3------数值仿真定量对比表(DAS vs DI-CDM,IoU↑ SNR↑)】
DI-CDM在全部5个仿真案例中IoU均优于DAS;SNR方面在前3个案例(Sim#1--3)也明显占优,Sim#3的IoU从DAS的0.0731跃升至0.6211,提升约8.5倍。
实验验证:NASA真实疲劳数据
DAS成像实验结果

【图12------L2试件第1疲劳循环的DAS成像结果:(a) 6个激励器各自的成像结果,(b) 平均融合后的综合成像结果】
图12展示了L2试件在250 kHz激励下,6个激励器分别生成的DAS图像及其平均结果。可以注意到,激励器1的图像在下边缘出现强烈的边界反射伪影。将6张图像平均后,综合成像结果作为DI-CDM的条件输入。
DI-CDM实验成像结果

【图13------L1试件疲劳循环1至40,000的成像结果对比:(a) DAS成像,(b) DI-CDM成像,(c) X射线真值图像】
图13是本文最核心的实验结果图。从中可以清晰看出三者的差异:
- DAS成像(图13a):在第1循环时勉强能指示损伤大致位置,但从10k循环起,随着分层扩大,DAS图像完全失去对分层形态的追踪能力------入射导波被大面积分层直接反射,无法穿透到达下方接收器。
- DI-CDM成像(图13b):从第10k循环开始,损伤区域(黑色虚线圆圈标注的中左区域)逐渐清晰显现,并随循环次数增加持续扩展,与X射线真值图呈现出良好的一致性趋势。
- X射线真值(图13c):清晰显示从细小裂纹到大面积分层的完整演变过程,真值分层像素数从156(第1循环)增长到1943(40k循环)。

【表4------实验结果定量对比表(DAS vs DI-CDM,各疲劳循环节点的IoU和SNR)】
量化数据(表4)进一步证实了这一趋势:
- IoU :DI-CDM在所有测试节点的IoU均约为DAS的3倍。特别是在40k循环时,DI-CDM达到0.3340,而DAS仅为0.0883。从10k到40k循环,DI-CDM的IoU呈现从0.1322到0.3340的上升趋势,能够部分捕捉X射线图像所呈现的分层扩展规律。
- SNR:DAS的SNR在10k循环后持续低于7 dB;而DI-CDM在所有测试节点的SNR均超过6.33 dB,且从10k到40k循环呈现出稳步提升的趋势(6.74 → 7.81 dB),说明其在背景抑制和损伤区域对比度方面表现更佳。
值得注意的是,以上更优的结果是在推理阶段完全不使用X射线的条件下取得的,体现了DI-CDM在实际工程应用中的显著优势。
方法局限与未来展望
作者在论文中客观指出了当前框架的若干局限:
- IoU绝对值仍有提升空间:实验中最高IoU为0.3340,尚未达到X射线级别的精度。这一方面受限于稀疏传感器阵列的DAS初始成像质量,另一方面也与训练数据量较少(仅L2和L3两个试件)有关。
- 条件输入敏感性分析不足:DAS图像作为条件输入的权重设置对生成结果有显著影响,需要更系统的敏感性分析。
- 跨结构泛化能力待验证:目前框架基于同类试件(同材料、相近铺层)的训练和测试,在不同结构类型间的迁移能力尚未探索。
面向未来,作者提出了三个重要的拓展方向:
- 多模态传感器融合:集成声发射、应变片、数字图像相关(DIC)等多源传感器数据,进一步提升损伤评估精度;
- 可控扩散模型输入优化:深入探索条件引导机制,使模型在不同工况下均能生成物理一致的损伤图像;
- 领域特定微调推广:将LoRA微调策略推广至其他SHM场景和工程结构类型。
总结
本文提出的DI-CDM框架是将生成式AI(特别是扩散模型)引入结构健康监测损伤成像领域的一次开创性尝试。其核心贡献可以概括为三点:
| 创新点 | 具体内容 |
|---|---|
| 模型选择 | 首次将LoRA微调条件扩散模型应用于SHM损伤图像生成 |
| 多模态融合 | 通过交叉注意力机制融合超声DAS图像与X射线图像,实现互补信息整合 |
| 实用性提升 | 推理阶段无需X射线,直接从DAS数据生成高分辨率损伤图像 |
在NASA公开数据集上的验证表明,DI-CDM能够有效追踪疲劳载荷下复合材料分层的渐进扩展,IoU指标约为传统DAS成像的3倍,为未来低成本、高精度的原位结构健康监测提供了新思路。