导读：
工业过程视频监控数据的时间连续性和空间连续性，但是已有的基于视频数据的故障诊断模型有规模庞大而难以部署。为此，本研究提出了一种基于双流Mobile Vit的轻量化视频分类模型用于故障诊断，并且利用权重剪枝技术来降低模型大小。首先提取工业视频的视频帧和稠密光流分别作为工业过程的空间特征和时序特征，再使用两条轻量化主干网络Mobile Vit提取视频的空间特征和时序特征。最终在双流模型的尾部使用卷积注意力融合机制使光流特征和特征充分融合用于最终的诊断。为使模型更加轻量化，模型权重剪枝被用来降低双流Mobile Vit的参数量。通过实验表明，相比于其他故障诊断模型,本研究所提出的模型和所应用的剪枝方法在取得较高的诊断精度的同时，模型大小也远远低于其他模型。
作者信息：
马旺兵, 田 颖：上海理工大学光电信息与计算机工程学院，上海
正文
尽管深度学习模型在故障诊断任务表现很好，但其参数量过于庞大难以被应用到实际生产过程中。为了进一步解决上述问题，本文结合工业过程实际特点提出了双流Mobile Vit视频分类模型用于故障诊断。该模型主要优势如下：
(1) Mobile Vit核心模块Mobile Vit Block中采用相比于传统卷积更加轻量化的Transformer进行全局建模；
(2) 采用Mobile Vit作为主干网络，构建双流模型将Mobile Vit中的轻量化方法从图像数据迁移到视频数据；
(3) 剪枝和作为先进的轻量化方法在确保模型的故障诊断进度的前提下可以有效的降低模型的大小。
1. 双流Mobile Vit网络结构
本研究的主要目的在于解决基于过程数据和图像数据的工业过程故障诊断模型诊断精度较低以及模型体量过大无法被部署到实际工业生产过程中。我们设计了轻量化双流并行网络双流Mobile Vit提取视频的时序特征和空间特征，如图1所示，我们的双流Mobile Vit 除了视频预处理模块由两条不仅在结构上且在参数上完全相同的主干2D轻量化网络Mobile Vit构成。
2. 结构化剪枝
结构化剪枝是一种模型压缩技术，目的是在减少模型计算量和存储需求的同时，尽可能保持模型的性能。它通过剪除网络中的整个结构单元，使剪枝后的网络仍具有规则的结构，从而便于高效推理和硬件加速。其中，通道剪枝是结构化剪枝的一种常用方法，专注于剪掉冗余的通道以减少模型参数量和计算复杂度。本文中采用的通道剪枝方法是通过L1范数判定整个模型中卷积层和全连接层中每个通道权重的重要性得分，再对重要性得分排序并设定剪枝率决定被保留的通道权重。剪枝具体方法如图7所示，其中hc 、λ 分别代表原有的权重通道数和剪枝率，[⋅] 代表取整函数。
3.数据集与实验
本研究采用的是PRONTO基准视频数据集，该视频数据集收集自克兰菲尔德大学过程系统工程实验室的全自动、高压、多相流设备。该设施为研究多相流的输送、测量和控制而设计的，允许对包括水、空气和油在内的多相流进行研究。该设施，描述了不同操作条件下的测试和诱发的故障。
本研究使用的视频数据集是根据PRONTO基准数据通过人为仿真三种系统状态并记录得到的，该数据集中包含3种系统状态，分别是：正常、空气泄露以及分流，其中空气泄露和分流是通过人为操作引发的故障。本实验将视频按照7:3的比例划分训练集和验证集。
考虑到数据来源的单一性，对数据进行增强及其重要。数据增强部分由图像随机裁剪，图像大小随机调整，图像随机垂直翻转和归一化三大部分组成。图像随机裁剪，图像大小随机调整，图像随机垂直翻转能提高数据的多样性以改善模型的泛化能力。对图像数据的归一化不仅可以降低模型过拟合的可能性，还可以降低数据分布范围广而导致溢出问题的可能性。
本实验是建立在Python 3.7 and PyTorch 1.7环境之上，cuda版本为11.1，操作系统为Ubuntu 22。由两张NVIDIA GeForce RTX 3090 GPU驱动代码执行，超参数配置如表1所示。
由表2可得，双流Mobile Vit取得了最好的故障诊断性能。
由于双流Mobile Vit中使用的是双流并行架构以及Mobile Vit Block中采用先局部特征提取后全局特征提取的顺序，为此取得了最高的故障诊断精度。在模型大小上，双流Mobile Vit中Mobile Vit Block中在对全局特征学习前，首先对特征进行unfold操作，用过降低了运算复杂度来减小参数量。为进一步降低所提出来的模型对的大小，结构化通道剪枝这一模型轻量化方法被用来降低模型的参数量。从实验结果来看，虽然被剪枝后的模型的故障诊断准确率比原来模型的准确率低了两个百分点左右，但是依然优于其他三个模型效果。在模型大小上，结构化剪枝方法使模型的参数量大约降低了百分之三十。
本实验是为了探究Mobile Vit Block中shortcut连接对工业过程特征的完整性是否有保护作用。为验证其作用，本实验采取对比验证方式，一个实验结果是整个被提出来模型的Mobile Vit block带有中shortcut连接，另一个实验模型中不带有shortcut连接。实验结果如表3所示，模型在使用带有shortcut连接的情况下，故障诊断准确率要比不使用shortcut连接的准确率高出5个百分点。以上结果表明在提取工业过程视频特征的过程中，shortcut连接对工业过程特征的完整性有着显著的保护性。
4.结论
从实验结果来看，本文中所提出的模型在视频数据上取得的准确率比其他模型都高。另一方面在取得较高准确率的同时，参数极大地降低。为了更大幅度地降低模型大小，结构化剪枝技术降低了原模型百分之三十的参数量，并且剪枝后的模型各项指标也高于其他模型。除此之外，Mobile Vit block中Shortcut连接可以有效保护工业过程的完整性。未来的工作可以将Mobile Vit的思想直接从二维数据迁移到三维数据上，这样模型结构会更加简单。
基金项目：
国家自然科学基金(61903251)