基于yolov10的PCB检测算法研究

目前项目取得研究生电子设计大赛国赛三等奖。

**内容:**项目将YOLOV10创新后的PCB检测算法成功部署到GD32H757上,实现PCB缺陷的工业产线实时检测。

项目主要支持开源代码:HomiKetalys/gd32ai-modelzoo: Provide deployable deep learning models on gd32 (github.com)

(想了解将AI模型部署到边缘MCU设备上,比如STM32/GD32,可以跟着这个开源项目学习)

目前有图像分类,目标检测模型。这个模型库有如下特点:

  • 开箱即用,深度适配keil5工程,可以将模型直接部署进keil5工程中,无需复杂的配置keil5工程即可使用部署的模型,支持ARMCC和GCC。
  • 完全免费的推理框架TinyEngine,运行速度在F4和H7系列上处与业内前沿,支持GCC和ARMCC(AC6)。
  • 支持X-CUBE-AI。
  • 模型运行时的内存占用峰值可调,内存占用峰值远低于同类模型库。
  • 稀疏块式推理,静态场景下可以自动根据目标稀疏性减少推理时间,目标检测模型推理时间低于同类模型库。
  • 提供了训练脚本,模型可重新训练,同时提供了预训练模型,可以通过迁移学习以适应不同应用。

注意:项目大大,人非常好,会认真及时回复问题和技术难题。

1、yolov10算法选择与创新

由图所示,能够帮助我们更清楚地了解各模型在实际应用中的性能表现,选择YOLOv10n模型用于PCB缺陷检测模型创新的基础模型PCB表面缺陷存在缺陷复杂且呈现的形状多样,缺陷特征信息少分辨率低和缺陷特征与背景特征相似的特征,因此还需要根据PCB缺陷的特性进一步改进YOLOv10n以实现快速和精确的检测。

为了实现对PCB缺陷的快速和精确检测、适应PCB缺陷形态的多样性,首先,重构了YOLOv10的CSPLayer_2Conv模块,引入了可变形卷积的优势,并设计了CSPLayer_2DCNv3模块。其次,采用SPDConv的下采样,保留了浅层特征中丰富的细粒度信息,有效应对了PCB表面缺陷的小面积比例和与背景相似的特性。最后针对模型复杂,参数量大的问题,简化了骨干网络的结构,特征融合方式采用加权融合,减少计算量和参数量。

2、系统整体研究方案

本系统功能主要是PCB质检功能、缺陷实时预警两大功能。系统整体研究方案包括:数字孪生大屏的设计与实现、质检交互界面的设计与实现、缺陷检测算法研究、缺陷检测模型轻量化与部署和边缘设备搭建和代码实现。

该研究方案框架不仅涵盖了从数据处理到模型优化的全流程,还结合了最新的技术方法,确保系统在资源受限的环境中依然能够高效运行,满足工业应用的需求。

图3-1系统整体研究方案

2.1 系统整体硬件设计方案

该系统的整体硬件结构包括相机、通信模组、光源、传感器部分、数字大屏、GD32H757MCU、传送带、PC端和服务器。

系统质检功能数据流:实现对印制电路板(PCB)的质检检测和检测报告生成的功能,该过程主要在本地PC端进行。首先,通过质检交互界面获取需要质检的PCB图像所在的文件路径,并读取该路径下所有PCB板的视觉图像信息。接着,将这些图像信息输入到缺陷检测模型中进行推理,并将推理结果实时显示在质检交互界面和数字孪生大屏上。随后,检测人员在质检界面填写相关信息,系统即可一键生成详细的质检报告,并将数据同步至云端,实现高效的质检管理和数据共享。

系统实时监控预警功能数据流:首先,PCB通过传动机构移动至摄像头和光源下方。摄像头捕捉PCB图像,并在充足光照条件下确保图像清晰度。捕捉到的图像数据传输至MCU(微控制单元),MCU对图像数据进行模型推理,识别并定位可能存在的缺陷。推理结果实时显示在TFT_LCD显示屏上,若检测到缺陷,则触发预警信号。同时,MCU将图像数据和检测结果传输至PC端,PC端对接收的数据进行进一步的分析和处理。通过这种方式,系统实现了PCB缺陷检测的实时预警和数据处理,显著提高了检测效率和准确性。

3、硬件设计方案及其电路实现

本研究是基于兆易创新开发板GD32H7系列实现的边缘AI检测设备。我们对YOLOv10_SD模型实现轻量化之后部署到GD32H757开发板上,并成功完成了对PCB的缺陷检测。我们设计了一套硬件实现方案,可以实现基于低功耗MCU边缘端检测流程,使用较低成本的方案完成对PCB板缺陷检测流程,为基于低功耗MCU的边缘AI计算发展提供有力的解决方案。

图5-1 PCB缺陷检测硬件设计方案

本方案所需的硬件包括主控MCU、摄像头模组、通信模块、显示屏模块和服务器;在MCU上部署轻量化后的YOLOv10_SD模型,通过摄像头实时捕获图像,经过AI模型的推理后生成检测结果,通过通信模块实现MCU和服务器之前的数据读写;完成了目标图像数据的实时采集、推理和显示,并将处理的数据日志通过通信模块上传到云服务器端,用户可以通过访问云服务器或者实体服务器来访问和下载检测日志。

4、AI模型的部署到MCU的流程

从浮点CNN模型(使用Keras等框架设计和训练)起步,用户生成优化的C代码(使用STM32Cube.AI工具),并将其集成到计算机视觉框架中,以便在GD32H7上构建计算机视觉应用。在生成C代码时,用户可以选择以下两种选项之一:

  1. 直接从浮点CNN模型生成浮点C代码
  2. 或者对浮点CNN模型进行量化以得到8位模型,然后生成相应的量化C代码

对于大多数CNN模型,第二种选择可以减少资源占用(Flash和RAM)以及推理时间。对最终输出精度的影响取决于CNN模型和量化过程(主要是测试数据集和量化算法)

将torch训练好的模型转为通用的ONNX模型,利用STM32Cube.AI将onnx模型文件转换为优化的C代码。其过程如下:

图6-4 模型转换为C代码过程

我们将转换的C代码打包并命名为Edge_AI,我们创建了一个头文件用于构建AI模型的接口,并且可以根据宏定义分配输入输出数据的内存位置。我们在.C文件中创建了一个初始化函数,用于初始化AI模型的参数,包括宽度、高度和类型。捕获的图像数据通过数据转换和预处理函数送至模型中进行推理。

4、系统作品图


相关推荐
MidJourney中文版22 分钟前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上1 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案1 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer1 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享1 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
巴里巴气1 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19891 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金1 小时前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen1 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
前端付豪2 小时前
20、用 Python + API 打造终端天气预报工具(支持城市查询、天气图标、美化输出🧊
后端·python