Fabric4show:用于面料缺陷检测和后处理的实时视觉系统

摘要

在织物缺陷检测方面开发计算机视觉应用具有巨大的潜在价值。然而,目前相关研究主要集中在追求高检测准确率和算法效率的检测模型,而忽视了实际工业生产的需求。因此,我们提出了一个织物缺陷检测及后处理系统,该系统结合了优化区域和卷积神经网络(CNN)特征(即 Faster R-CNN)来进行缺陷检测、缺陷定位以及检测模型评估。此外,该智能系统还引入了一些新方法,如重组织物数据集、异常检测、推荐裁剪区域划分以及补充装置。本研究展示了人工智能(AI)驱动的自动化技术在织物制造中的应用示例。在相同硬件条件下,对不同检测模型的准确率和检测速度进行了评估,并与相关研究工作进行了对比。实验结果表明,所提出的方法能够达到与其他模型相当的性能,同时显著降低计算资源需求。研究强调了在硬件系统上使用两阶段网络进行织物缺陷检测任务的潜在效率,这可能对纺织行业有相关意义。

关键词:计算机视觉,织物制造,自动化,缺陷检测,Faster R-CNN

1 引言

随着社会和经济的快速发展,对高质量服装的需求不断增加。因此,面料缺陷检测已成为生产中的关键环节。然而,在工业制造中,检测许多不同的、微小且弱的目标缺陷仍然是一个挑战。此外,缺陷过多的面料只能以正常价格的45%~65%出售1, 2。如果在工厂阶段未能发现严重问题,整批产品将无法使用,这对纺织企业是非常不利的。因此,为纺织行业实施一个高效、可靠且一体化的智能视觉系统,可以带来显著的经济效益。如今,纺织行业对于面料缺陷检测需要更具体的标准,例如不仅仅统计缺陷的数量或识别其类型,而是建立更全面的评分系统,并根据不同缺陷分布模式制定更合理的后处理策略。许多研究人员一直在努力解决这些问题,并提出了出色的检测方法3--9。然而,纺织企业在实施自动智能控制时仍面临一些问题。首先,由于面料缺陷种类繁多,但可用样本有限,训练检测模型非常困难,这可能最终导致更高的检测误差。其次,缺陷检测的后处理策略需要改进,因为企业关注的是如何有效地处理和分类检测到的缺陷。

为了最大化残值,我们使用高效的面料。最后,缺乏成熟且全面的实际部署案例,使企业难以确定智能化改造生产线的可行性和成本。我们的贡献总结如下:1)我们提出了一种面料缺陷检测系统,将优化的区域与卷积神经网络 (CNN) 特征(如 Faster R-CNN)结合起来,以提高检测精度。2)我们设计了一套基于缺陷类型、面积和方向的综合评分机制,并提出了基于环形传送和模板补充的缺陷面料后处理方案。3)我们开发了一种基于缺陷连续性评估的异常检测机制。如果检测系统发现大面积连续缺陷,或检测值超过报警阈值,会向生产线控制系统发送停止指令,并触发声音和视觉报警。4)我们提出了一种自动推荐裁剪区域划分方案的算法,有效解决了当前依赖人工分割进行缺陷面料再利用的问题。5)我们构建了一套低成本、实时的面料缺陷检测与后处理视觉系统,并开发了配套的工业软件。

2 相关工作

2.1 织物缺陷检测研究进展

在2016年,Hanbay等人10对织物缺陷进行了详细概述,并提出了七种检测方法。传统的机器视觉方法11--13以及发射光谱和统计方法曾被用于在裁剪织物前识别缺陷区域并统计缺陷数量。然而,这些方法难以检测织物表面纹理的随机变化,并且容易受光照条件影响,因此在工业环境中的准确性较低。近年来,图形处理单元(GPU)的发展推动了基于深度学习技术的织物缺陷检测取得显著进展。例如,YOLO14、Faster R-CNN15等模型和算法不仅在性能上有更好的表现,而且相较于传统的机器视觉方法,还能够识别缺陷类型及其空间位置。然而,深度学习算法需要强大的GPU支持,这增加了其在实际工业应用中部署的难度和成本。为了在成本和效益之间取得平衡,研究人员不得不重新考虑在实际工业应用中使用低成本且快速的计算机视觉技术。Khodier等人16使用CNN组合来检测图案复杂的提花织物缺陷,并取得了准确率约为99%。Wang 等人17提出了一种用于实际应用中多类别缺陷检测的双分支并行 Faster R-CNN 模型,该模型能够处理各种织物缺陷,并实现了平均精度均值(mAP)为0.574(mAP@50)。

2.2 挑战与机会

尽管在织物缺陷检测方面取得了显著进展,但传统机器视觉方法在纺织行业仍被广泛使用18--20。制造商越来越需要的织物缺陷检测系统不仅能统计缺陷数量,还能评估和处理有缺陷的织物,从而用于指导生产工艺的改进。这些需求为视觉技术提出了新的挑战,同时也为智能制造的发展提供了新的机会。为应对这些挑战,我们设计了一个基于缺陷类型、面积和方向的综合评估标准,如图1所示,

并提出了一种可以自动推荐裁剪和分级有缺陷织物区域的算法。该标准也用于异常检测。所有这些功能均经过调整以满足企业的实际需求,并已成功部署到硬件模块中。

3 检测模型

我们基于经典的 Faster R-CNN 21 报告了三项设计改进。1) 多源数据集。我们主要使用开源数据集,包括天池的智能布料缺陷诊断数据集 22, 23(主数据集)、Kaggle 的布料缺陷数据集 24, 25(微调数据集 A)以及本研究中获取的额外缺陷布料图像(微调数据集 B)。基于缺陷大小和原因的聚类分析结果,原来的 30 个类别合并为 14 个类别,以简化检测过程,这在相关工作中也是常见做法 15, 17。2) 双流训练(DST)。为了更高效地检测小目标,在主干神经网络中使用了 ResNet50 26 替代了 VGG-16。与 Wang 等人 17 提出的方案不同,Faster R-CNN 的主流和子流网络都进行了训练。分别用于主数据集和微调数据集,以计算混合评分,以有效平衡大缺陷和小缺陷的检测效果。CiouLoss 27 用于替代 L1Loss,以提高不同长宽比缺陷的检测效率。此外,NMS 28被用来高效去除校准不准确的高度重叠预测盒,16位浮点(FP16)29用于降低GPU内存消耗,在线硬样本挖掘(OHEM)30则用于提升模型从复杂案例中学习的能力。尝试多种损耗函数以提升检测模型的性能。3)模型输出的深度学习应用。检测模型的输出,如类型、包围盒(bbox)位置和置信水平,用于进一步处理。利用bbox位置,首先计算每个缺陷的面积和方向,并将其纳入拟议的评分机制中。然后,基于该评分机制,提出并实现异常检测和裁剪区域划分。这些算法和硬件组件被整合进所提系统中。拟议织物缺陷检测的工作流程见图2。

图2 本文提出的织物缺陷检测方法的工作流程以及重新整理的织物数据集。对于主数据集,我们将多个织物缺陷数据集22, 23整合成一个新数据集。微调数据集A由Kaggle的织物数据集24, 25中的短线和孔组成。微调数据集B包含本文收集的污染物和短水印。CoCo代表上下文中的常见物体,这是一个数据集格式,包括带有对象分割掩码、边界框和标签的标注图片。VGG16代表16层视觉几何组,Faster R-CNN是更快的基于区域的卷积神经网络,而ResNet是残差网络。

主数据集包含许多对图像。每双布料都有相同的帕特燕鸥设计。在一幅图中,织物有缺陷,而在另一张图中,织物没有缺陷。我们首先使用Faster R-CNN的主流网络来训练模型,然后利用Faster R-CNN的子网络训练带有微小缺陷的模型。最后,两个模组的评级结果混合,返回的缺陷类型中,信用度最高的。此外,图3(a)显示了数据集中包含的缺陷数量,图3(b)显示了主数据集和微调数据集之间的比较。

图3 我们数据集的详细信息。Conta:污染;Misp:印刷错误;Water:水印;Flora:花纹毛发;SHs:接缝头;SHPs:接缝头印记;Bug:虫痕;Hos:孔洞;Fos:折痕;WDs:织物缺陷;Omis:遗漏;WaxS:蜡斑;Color:颜色差异;Mesh:网格折叠

4 织物缺陷评分机制

从技术角度来看,训练人工智能(AI)应用模型只是整个流程中的一步。企业通常不关心所使用的检测模型类型(FasterR-CNN、Cascade R-CNN或YOLO)。相比之下,他们更注重拥有一个可行且经济的解决方案,包括硬件、软件和检测方法。结构缺陷检测模型的训练作为系统部署的预置任务。将模型与工业相机应用,以及如何最大化利用探测模型返回的信息,是需要深入探讨的领域。毕竟,单发检测的精度不足可以通过多发射击来弥补。这表明,在实际工业生产中,高效且合理的加工方案比高单次测定精度更为重要。因此,这样这项工作提出了一种评分机制,为后续处理提供了标准,相关内容将在后续章节介绍。在实际生产中,企业并不总是舍弃或回收有缺陷的面料。根据缺陷分布的具体情况采用不同策略,通常更经济。因此,我们设计了一个综合评分标准,用于评估面料缺陷的类型、面积和方向(横向或纵向)。该标准作为后续处理有缺陷面料的依据。面料缺陷的总分记作 PTot,计算方法如下:

其中 n 表示检测到的缺陷总数,Pi 表示第 i 个检测到的缺陷的得分,而 Pi,typ、Pi,are、Pi,tra 和 Pi,lon 分别表示缺陷在类型、面积、横向趋势和纵向趋势方面的得分。α、β、γ 和 δ 是权重系数,其数值与对应缺陷特征的可接受性成负相关,并可以根据不同客户需求通过层次分析法或神经网络进行调整。

4.1 单缺陷评分

检测模型返回用于定位边界框(bbox)的坐标是 (x1, y1),(x2, y2),如图 4 所示。

图 4 基于边界框(bbox)位置对织物缺陷评分的示例。 检测模型返回用于定位 bbox 的坐标是 (x1, y1),(x2, y2)。f 和 g 表示当前图像的分辨率比例。Nx 和 Ny 分别表示横向和纵向长度。 我们使用 bbox 位置来计算每个缺陷的面积和方向,并利用这些数据帮助我们评估缺陷。 图中的三个边界框代表织物上的三个缺陷。 对第一个边界框的位置,H = (251, 412),F = (273, 385); 对第二个边界框的位置,L = (400, 400),J = (422, 367); 对第三个边界框的位置,P = (246, 282),N = (392, 40)。 另外,A = (0, 0),B = (640, 0),C = (640, 480),D = (0, 480)

第 i 个检测到的缺陷的输出记为向量 (Di)

用于按如下方式计算缺陷的宽度 xi 和长度 yi:

缺陷的横向趋势得分 Pi,tra 和纵向趋势得分 Pi,lon 可以通过归一化其宽度和长度来获得。所提出系统中使用的工业相机的直接输出分辨率是 640 × 480,但织物并不占据整个工业相机的视野。因此,直接分辨率比例使用公式 (4) 计算:

其中 Nx 和 Ny 分别表示横向和纵向长度。此外,缺陷区域的得分 Pi 可以使用公式 (5) 计算:

4.2 视频帧打分

如图4所示,包括当前帧中三个标记缺陷(1,2,3)在内的所有缺陷分数都是通过公式(1)计算的。每一帧都会计算第k块布料(k表示第k块布料)及其对应的缺陷分数密度ρk(如图6所示)。当满足以下条件时,会向控制系统发送停机指令。不过,这个计算仅限于视频流的单独帧。在实际生产中,布料面积通常超过工业相机的视野,因此需要适应算法。因此,我们提出了一种实时打分算法,用于计算整块布料的总分PTot。

4.3 实时布料评分机制

我们的算法是基于逐帧检测和理想情况下的评分阈值。然而,实际的工业应用需要一个实时检测系统,它能够处理相邻帧的摄像头视频,因为布料在输送带上移动,相对于工业相机有位移。此外,缺陷检测的一致性仅限于检测模型。为了解决这些问题,我们开发了一种使用缺陷编号和字典遍历的机制。缺陷会被单独编号,并与其他信息结合创建字典。使用这个算法,可以实时比较两个相邻帧之间的缺陷字典,以确定已检测到缺陷的重复和丢失情况。此外,实时评分算法结合了缺陷评分和开始/停止判断,形成一个评分机制。图5展示了这个实时评分算法的示例。通过将这个评分机制与硬件系统结合

4.4 异常检测

在生产线上,针织机的异常情况可能会导致织物出现重大缺陷。如果不及时发现,它可能会给企业造成重大损失。为解决这个问题,我们开发了一种更高效的评分算法和一种基于缺陷评分密度以及上一节介绍的机制的异常检测方法。首先,在缺陷评分之后,对缺陷区域进行评估;特别是总分 PTot。对于每一帧,计算 k(k 表示第 k 块织物)及对应的缺陷评分密度 ρk(也见图 6)。当满足以下条件时,会向控制系统发送停机命令。

  1. 缺陷分数密度超过预设阈值 2) 单个缺陷的任意长度、宽度或面积超过其预设阈值。如果超时后没有触发停机条件,循环将等待下一个检测区域。

图6 推荐的剪裁范围和质量评分。D区域表示发现了布料缺陷。橙色方框表示推荐的剪裁区域,红色方框表示不推荐的剪裁区域。A、B和C分别代表高质量段、良好段和有缺陷的布料段。我们设计了一个叫"基础"的指标来评估每个剪裁区域,Scuttablearea 是可剪裁区域的像素平方,SthisDarea 是D区域的像素平方。ρk 表示第 k 块布料的缺陷评分密度,PTot k 表示第 k 块布料的总评分。Nx 和 Ny 分别表示横向和纵向长度,k 表示第 k 块布料。

4.5 剪裁区域划分

在生产线上,一块长布料不同部分的缺陷分布可能有所不同。为了解决这个问题,受到之前工作的启发31--33,我们设计了推荐剪裁区域划分的算法,并评估每个部分的质量,这可以帮助企业最大化布料的经济价值。实验中,算法仅使用全彩红色、黄色和绿色布料,并考虑点状缺陷,比如污染物,以及线状缺陷,比如水印,这些缺陷更简单且更容易以更高精度检测到(图6)。当工业个人计算机(IPC)提供缺陷处理的源指令时,系统会根据是否存在缺陷对布料进行划分。有缺陷的区域标记为黄色边框,无缺陷的区域标记为蓝色边框。前面提到的评分机制用于为有缺陷的区域提供评分。布料的不规则裁剪是一个非确定性多项式(NP)难题。在实际生产中,把布料裁剪成矩形更实用也更快。因此,通过解决最大矩形面积问题来简化区域划分。我们用橙色边框表示推荐的裁剪区域,用红色边框表示不推荐的裁剪区域。接下来,系统会使用不同的阈值评估布料的每个裁剪区域,其中A、B和C分别代表高质量段、良好段和有缺陷的布料段。然后,会将当前布料的分区信息和分区截图记录下来,以便后续的分类处理。

4.6 模板识别和补充

为了确保高效、连续的面料生产,有缺陷的面料必须迅速用同一模板下的无缺陷面料替换,以避免打乱堆叠顺序 33。本节介绍了模板识别和补充装置,包括模板补充站、转向装置、模板补充站的偏转器、补充输送机,以及能够在面料移动时识别模板的控制器。为了快速识别面料图案,目前的方法使用简单的分类任务通过神经网络训练 34,或者通过基于 RGB 直方图的方法进行模式识别 35。本文采用后者方法,因为在面料检测模型之后再提供额外模型会影响系统的检测效率和速度。模板识别和补充装置的操作示意图如图 7 所示。基于这种方法,本文的对应执行逻辑设计如下:1)当缺陷分数超过设定阈值时,IPC 会截取摄像头视频流的画面,将其 RGB 通道直方图与预存模式进行比较,计算并返回相似度最高的模式 ID。2)随后,硬件系统根据检测到面料的识别模式,有序地释放指定模板的无缺陷面料以进行补偿。

5 结构与硬件

现有关于织物缺陷检测的研究主要集中在软件实现上。虽然有些研究提出了半手动系统18,但基于硬件的织物缺陷检测及后处理系统的探索仍然有限36。在工业应用中,模型、软件和硬件同样重要。因此,将设计并应用一个织物缺陷检测及后处理系统。图8展示了系统的整体效果,包括主视图的实物图、示意图、硬件模块的特写照片,以及织物补充模块特写和IPC程序用户界面。所提出系统的电气组件和模块如图9和表1所示。系统由八大部分组成:IPC、主处理、扩展与显示、驱动执行、电源、报警、织物补充和视觉模块。 1) IPC模块,用于运行织物缺陷检测模型、IPC程序,并与硬件系统通信,由一台联想拯救者R9000P笔记本组成,配备R7-5800H CPU和NVIDIA GeForce RTX 3060 Laptop(6GB)GPU。 2) 主处理模块,负责组织硬件系统的所有组件,由两个Arduino UNO和一个CNC Shield扩展板组成。3) 扩展和显示模块,包括一个带ESP8266的NodeMCU V3 WIFI板和一个1.8英寸ST7735型号的TFT屏,用于人机交互和通信扩展。4) 驱动执行模块包含两个42BYGH47型号的步进电机、两个我们自己制作的小型传送带、三个TB6600型号步进电机驱动器、三个A4988型号滑台电机驱动器,以及一个LM393型号的光敏传感器。该模块用于接收主处理模块的控制命令并驱动电机。5) 电源模块提供不同的电压需求,使用三个电源单元:MWS-150-24(150W 24V)、MWS-100-12(100W 12V)和MWS-50-5(50W 5V)。6) 警报模块由LTE-5061警示灯和FL-3FF-S-Z5VDC继电器组成,为异常检测算法提供硬件支持。7) 织物补充模块由PCA9685舵机控制板和三个MG90舵机组成(可旋转90度到180度)。该模块为后处理阶段的模板识别和补充提供硬件支持。8) 视觉模块包括一台HW500工业相机(500万像素,30帧每秒,640×480直接输出分辨率)和自研3D滑动平台。工业相机可以捕捉运动图像并通过控制器和IPC集中处理。6 实验与讨论 6.1 实验配置 本研究使用的整理织物数据集分为主数据集和微调数据集。每部分进一步按6:2:2比例分为训练集、验证集和测试集。微调的Faster R-CNN用于训练。训练方法详情可参考检测模型介绍,训练环境如下:Python 3.7.6, PyTorch 1.11.0+cu115, CuDNN 8.3.2, TorchVision 0.12.0+cu115, OpenCV 4.5.2, MMCV 1.4.8 以及 MMDetection 2.23.0。检测和后处理系统部署在配备R7-5800H CPU和NVIDIA GeForce RTX 3060 Laptop (6GB) GPU的个人笔记本上。启用CPU辅助计算后,系统可以处理每秒五帧的实时检测视频。此外,使用QT5开发了一款监控软件,通过串口与硬件系统连接。该软件的用户界面包括各种功能,如工业相机视频流输出、缺陷检测视频流输出和工业相机RGB调节,如图8(c)所示。

图8 我们的织物缺陷检测与后处理系统的整体结构。(a) 结构示意图;(b) 系统主视图的实时图像;(c) 工业个人电脑程序的用户界面;(d) 补布模块特写照片;(e) 硬件模块特写照片;(f) 硬件模块示意图。TFT 是薄膜晶体管,MCU 是微控制器单元(Node MCU 是基于 ESP8266 的开发板),Arduino UNO 是 Arduino 的产品。TB6600 是常用的步进电机驱动器,用于控制步进电机的运动

图9 织物缺陷检测及后处理系统的电气设备和模块。IPC是工业用个人电脑

6.2 模型评估

6.2.1 性能比较

改进后的模型在重新整理的数据集上进行了验证,并使用平均精度均值(mAP)进行评估。正如表2所示,所提出的模型表现出很有前景的性能,特别是在降低 GPU 内存开销(在模型训练过程中)和提高小目标检测准确率方面。与基线模型相比,mAP@0.5:0.95 和 mAP@0.5 的数值为mAP_s@0.5:0.95分别提高了5.4%、2%和9.1%。如表2所示,将基线的L1 Loss替换为Ciou Loss,使mAP@0.5:0.95提高了2.4%。在使用NMS和FP16时,mAP@0.5:0.95相比基线提高了2%,GPU内存消耗减少了1.37GB,降低了GPU的工作负载。与使用NMS和FP16优化后的模型相比,使用OHEM并将L1 Loss替换为Ciou Loss,使mAP@0.5:0.95提高了1%。使用DST作为训练策略并结合上述优化方法,mAP@0.5:0.95得分相比未使用该方法提高了2.4%。总体来看,mAP@0.5:0.95相比基线提高了5.4%.

6.2.2 消融实验

当同时使用 FP16+NMS+CiouLoss+OHEM+DST 方法时,所提出模型的性能显著提升,如表 3 所示。除了评估模型在数据集上的性能外,我们还进行了实时测试,以确定所提出系统的检测实时帧率,包括 FPS_1、FPS_2 和 FPS_3。FPS_1 指的是在 IPC 程序的用户界面中,当同时使用 VSOIC 和 VSODD 模块时的每秒帧数(FPS)。FPS_2 指的是启用 VSOIC 但禁用 VSODD 时的 FPS。FPS_3 指的是同时禁用 VSOIC 和 VSODD 时的 FPS。与 Wang 等17和 Zhou 等15的研究相比,本工作提出的网络和策略在数据集上的 mAP 值更高。不过,由于上述工作模型并不开源,所以无法在本系统上比较它们的检测速度。此外,两阶段网络如 Faster R-CNN 在检测速度、实时帧率和部署时 GPU 内存消耗方面无法与 YOLO 和 RetinaNet 这种网络竞争。尤其是,检测系统的一些决策算法直接在模型输出端执行。虽然这会降低模型的检测速度,但我们仍然认为在模型性能比较阶段引入"FPS"(在所提出系统中使用,包括 FPS_1、FPS_2 和 FPS_3)指标是重要的,并且与我们工作的初衷一致。

6.3 功能演示

根据缺陷程度,待检测的织物被分为无缺陷织物、有缺陷织物和大面积缺陷织物,并且针对三种情况设计了相应的后处理流程,如图10所示。此外,还对调度和每个流程的时间消耗进行了优化,使系统更加稳定,操作逻辑自洽。功能演示的时间消耗和调度如图11所示

图10 所示为处理无缺陷面料、有缺陷面料以及大面积缺陷面料的系统流程图

图11 硬件系统功能演示中各个流程的时间消耗和调度

6.3.1 异常检测

当一块超过缺陷分数报警阈值的布料被送入底部输送机时,IPC 会通过开发板成功发送报警指令到报警灯,使所有输送机都停止运转,并在用户界面上显示警告提示。当操作员在用户界面的大片区缺陷自动停机模块上点击"模块禁用"按钮时,模块可以重置,整个系统可以恢复运行。图 12(a) 显示了系统的操作和结果。因此,这个异常检测模块可以通过基于视觉技术的自动停机,有效解决针织机异常情况下造成的大面积缺陷问题。

6.3.2 缺陷检测与后处理

使用不同模板的缺陷布料实验结果如图 12(b) 和图 12(c) 所示。在缺陷布检测实验中,用户界面会返回当前布料分数,系统进入缺陷布处理阶段。同时,会向布料补充模块发送释放指令,模板编号和信息会显示在用户界面上。补充模块会用相同模板的无缺陷布料补充无缺陷布料回收站。与此同时,缺陷布回收输送机会将缺陷布料本身输送到缺陷布补充站。无缺陷布料交付实验结果如图 12(d) 所示。用户界面显示当前布料缺陷分数,但不会激活缺陷处理模块,布料继续通过。

图12 织物图像、缺陷识别、评估和处理:(a)显示了异常检测的测试。没有模板识别,得分为265。(b)显示了模板1缺陷织物的测试。模板识别结果为模板1,得分150。(c)显示了模板4缺陷织物的测试。模板识别结果为模板4,得分125。(d)显示了无缺陷织物的测试。没有模板识别,得分为10

传送带照常运作。布料补充模块没有收到"启用"命令。因此,该系统显示能够检测和处理有缺陷的全彩布料。

6.3.3 多形式信息反馈

系统还提供了一个检测到缺陷布料的回顾功能,可以以视频流、截图、GIF 和日志的形式输出检测结果。此外,还对上述实验中测试的缺陷布料进行了裁剪区域划分实验和缺陷布料分级实验。

7 结论与未来工作

由于复杂的场景和高市场需求推动持续的研究工作,织物缺陷检测及后处理在计算机视觉中具有很有前景的应用。我们提出了一个织物缺陷检测与后处理系统,该系统集成了优化的 Faster R-CNN 模型,用于缺陷检测、缺陷定位和检测模型评估。此外,系统还结合了新方法,如重排的织物数据集、异常检测、推荐裁剪区域划分以及补充装置。满足实际工业生产的需求可能比逐步改进更有价值,所以我们在这里将计算机视觉与自动化技术结合起来,以连接科学研究与工业生产。然而,解决小缺陷检测与大感受野之间的冲突仍然是一项挑战。实时检测的效率需要提高,因为每秒 5 到 10 帧对于织物制造来说是不够的。此外,系统向操作人员提供的结果反馈也需要改进。在未来的研究中,我们将探索公司应对上述问题的潜在解决方案,改进系统操作逻辑和调度方案的优化,并开发新功能例如缺陷标记(使用额外的硬件模块通过在缺陷上附加标签来在物理层提供反馈)。为了鼓励在这个领域的进一步研究,我们的方法已作为开源项目在 GitHub 上提供,地址是 https://github.com/linhuaizhou/yida_gedc_fabric4show