目前项目取得研究生电子设计大赛国赛三等奖。
**内容:**项目将YOLOV10创新后的PCB检测算法成功部署到GD32H757上,实现PCB缺陷的工业产线实时检测。
项目主要支持开源代码:HomiKetalys/gd32ai-modelzoo: Provide deployable deep learning models on gd32 (github.com)
(想了解将AI模型部署到边缘MCU设备上,比如STM32/GD32,可以跟着这个开源项目学习)
目前有图像分类,目标检测模型。这个模型库有如下特点:
- 开箱即用,深度适配keil5工程,可以将模型直接部署进keil5工程中,无需复杂的配置keil5工程即可使用部署的模型,支持ARMCC和GCC。
- 完全免费的推理框架TinyEngine,运行速度在F4和H7系列上处与业内前沿,支持GCC和ARMCC(AC6)。
- 支持X-CUBE-AI。
- 模型运行时的内存占用峰值可调,内存占用峰值远低于同类模型库。
- 稀疏块式推理,静态场景下可以自动根据目标稀疏性减少推理时间,目标检测模型推理时间低于同类模型库。
- 提供了训练脚本,模型可重新训练,同时提供了预训练模型,可以通过迁移学习以适应不同应用。
注意:项目大大,人非常好,会认真及时回复问题和技术难题。
1、yolov10算法选择与创新
由图所示,能够帮助我们更清楚地了解各模型在实际应用中的性能表现,选择YOLOv10n模型用于PCB缺陷检测模型创新的基础模型PCB表面缺陷存在缺陷复杂且呈现的形状多样,缺陷特征信息少分辨率低和缺陷特征与背景特征相似的特征,因此还需要根据PCB缺陷的特性进一步改进YOLOv10n以实现快速和精确的检测。
为了实现对PCB缺陷的快速和精确检测、适应PCB缺陷形态的多样性,首先,重构了YOLOv10的CSPLayer_2Conv模块,引入了可变形卷积的优势,并设计了CSPLayer_2DCNv3模块。其次,采用SPDConv的下采样,保留了浅层特征中丰富的细粒度信息,有效应对了PCB表面缺陷的小面积比例和与背景相似的特性。最后针对模型复杂,参数量大的问题,简化了骨干网络的结构,特征融合方式采用加权融合,减少计算量和参数量。
2、系统整体研究方案
本系统功能主要是PCB质检功能、缺陷实时预警两大功能。系统整体研究方案包括:数字孪生大屏的设计与实现、质检交互界面的设计与实现、缺陷检测算法研究、缺陷检测模型轻量化与部署和边缘设备搭建和代码实现。
该研究方案框架不仅涵盖了从数据处理到模型优化的全流程,还结合了最新的技术方法,确保系统在资源受限的环境中依然能够高效运行,满足工业应用的需求。
图3-1系统整体研究方案
2.1 系统整体硬件设计方案
该系统的整体硬件结构包括相机、通信模组、光源、传感器部分、数字大屏、GD32H757MCU、传送带、PC端和服务器。
系统质检功能数据流:实现对印制电路板(PCB)的质检检测和检测报告生成的功能,该过程主要在本地PC端进行。首先,通过质检交互界面获取需要质检的PCB图像所在的文件路径,并读取该路径下所有PCB板的视觉图像信息。接着,将这些图像信息输入到缺陷检测模型中进行推理,并将推理结果实时显示在质检交互界面和数字孪生大屏上。随后,检测人员在质检界面填写相关信息,系统即可一键生成详细的质检报告,并将数据同步至云端,实现高效的质检管理和数据共享。
系统实时监控预警功能数据流:首先,PCB通过传动机构移动至摄像头和光源下方。摄像头捕捉PCB图像,并在充足光照条件下确保图像清晰度。捕捉到的图像数据传输至MCU(微控制单元),MCU对图像数据进行模型推理,识别并定位可能存在的缺陷。推理结果实时显示在TFT_LCD显示屏上,若检测到缺陷,则触发预警信号。同时,MCU将图像数据和检测结果传输至PC端,PC端对接收的数据进行进一步的分析和处理。通过这种方式,系统实现了PCB缺陷检测的实时预警和数据处理,显著提高了检测效率和准确性。
3、硬件设计方案及其电路实现
本研究是基于兆易创新开发板GD32H7系列实现的边缘AI检测设备。我们对YOLOv10_SD模型实现轻量化之后部署到GD32H757开发板上,并成功完成了对PCB的缺陷检测。我们设计了一套硬件实现方案,可以实现基于低功耗MCU边缘端检测流程,使用较低成本的方案完成对PCB板缺陷检测流程,为基于低功耗MCU的边缘AI计算发展提供有力的解决方案。
图5-1 PCB缺陷检测硬件设计方案
本方案所需的硬件包括主控MCU、摄像头模组、通信模块、显示屏模块和服务器;在MCU上部署轻量化后的YOLOv10_SD模型,通过摄像头实时捕获图像,经过AI模型的推理后生成检测结果,通过通信模块实现MCU和服务器之前的数据读写;完成了目标图像数据的实时采集、推理和显示,并将处理的数据日志通过通信模块上传到云服务器端,用户可以通过访问云服务器或者实体服务器来访问和下载检测日志。
4、AI模型的部署到MCU的流程
从浮点CNN模型(使用Keras等框架设计和训练)起步,用户生成优化的C代码(使用STM32Cube.AI工具),并将其集成到计算机视觉框架中,以便在GD32H7上构建计算机视觉应用。在生成C代码时,用户可以选择以下两种选项之一:
- 直接从浮点CNN模型生成浮点C代码
- 或者对浮点CNN模型进行量化以得到8位模型,然后生成相应的量化C代码
对于大多数CNN模型,第二种选择可以减少资源占用(Flash和RAM)以及推理时间。对最终输出精度的影响取决于CNN模型和量化过程(主要是测试数据集和量化算法)
将torch训练好的模型转为通用的ONNX模型,利用STM32Cube.AI将onnx模型文件转换为优化的C代码。其过程如下:
图6-4 模型转换为C代码过程
我们将转换的C代码打包并命名为Edge_AI,我们创建了一个头文件用于构建AI模型的接口,并且可以根据宏定义分配输入输出数据的内存位置。我们在.C文件中创建了一个初始化函数,用于初始化AI模型的参数,包括宽度、高度和类型。捕获的图像数据通过数据转换和预处理函数送至模型中进行推理。
4、系统作品图