基于 RT-DETR 的 PCB 缺陷检测

工业质检里,PCB 缺陷往往又小又散。本文记录一次完整实践:用 RT-DETR 在 VOC_PCB 六类缺陷数据上训练,并搭一套 PyQt5 可视化检测界面。


一、 项目背景

印刷电路板(PCB)在生产过程中常见缺孔、鼠咬、开路、短路、毛刺、余铜等缺陷。传统人工目检效率低、主观性强,因此很适合用目标检测做辅助质检。

本项目选型 RT-DETR(Real-Time Detection Transformer):

  • 端到端检测,少依赖复杂后处理
  • 对小目标更友好(配合更高输入分辨率)
  • 基于 Ultralytics 接口,训练与部署链路清晰

最终效果:验证集 mAP@0.5 ≈ 0.983,并完成可交互的检测 GUI。


二、数据集介绍

2.1 缺陷类别表

类别 ID 英文名 中文名 训练集实例数
0 missing_hole 缺孔 514
1 mouse_bite 鼠咬 518
2 open_circuit 开路 505
3 short 短路 557
4 spur 毛刺 551
5 spurious_copper 余铜 576

表2-1 缺陷类别表

上表与 labels.jpg 一致,统计的是 train 集;若合计 train+val,各类约在 785~820。

数据集配置文件 pcb.yaml 示意:

XML 复制代码
train: images/train
val: images/val
names:
  0: missing_hole
  1: mouse_bite
  2: open_circuit
  3: short
  4: spur
  5: spurious_copper
nc: 6

三、 数据分析

3.1 数据集标签分析

图3-1 数据集标签分析图

图3-1 是训练前的数据分布诊断,用来判断后续该不该加分辨率、补数据或换模型。 左上柱状图显示六类样本约在 500~580,类别相对均衡,说明主要矛盾不在类别失衡。 右上框叠加与右下宽高热力图表明缺陷框很小,宽高多集中在 0.04 附近,属于典型小目标。 左下 xy 分布较均匀,缺陷并不集中在某一角落,整图各区域都可能出现问题。 因此后续把输入从约 600 提升到 1024,优先解决「缺陷太小看不清」的问题。

四、训练配置与结果

4.1 关键训练设置

项目 取值
模型 RT-DETR-L(rtdetr-l.pt)
输入尺寸 1024
Epochs 24
Batch 4
设备 GPU(示例:NVIDIA GeForce MX550)
close_mosaic 20

4-1 训练配置表

4.2训练曲线

图4-1 训练损失曲线图

图4-1 给出训练/验证损失与精度随 epoch 变化的完整曲线。 cls_loss、giou_loss、l1_loss 整体持续下降,说明分类和框回归都在稳定收敛。 Precision / Recall 很快爬升并稳定在高位,模型较快进入可用状态。 mAP50 接近 0.99,而 mAP50-95 仍在上升,说明严 IoU 下的定位还有提升空间。 训练与验证损失趋势一致,未见明显过拟合,24 轮训练设置较为合理。

4.3PR 曲线

图4-2 PR 曲线图

图4-2 是六类缺陷各自的 Precision-Recall 曲线,用来看「找全」和「找准」的权衡。 整体 mAP@0.5 达到 0.983 ,说明验证集上综合表现已经很高。 mouse_bite、spurious_copper、open_circuit、missing_hole 基本都在 0.99 左右。 相对难点是 short(约 0.949),仍属高水平,但后续可重点做难例挖掘。 多数曲线在高召回区间才掉精度,说明模型通常能同时兼顾检出率和准确率。

4.4 归一化混淆矩阵

图4-3 混淆矩阵

图4-3是归一化混淆矩阵,用来检查类间是否互相认错。 对角线正确分类比例极高,多数类别达到 0.97~1.00,说明六类边界清晰。 类与类之间几乎不互相混淆,例如很少把开路错成短路,或把毛刺错成余铜。 主要噪声来自 background:一部分背景被误检为缺陷,也有极少数缺陷被漏成背景。 实际部署时可适当提高置信度阈值,用少量召回换更低的误报率。

五、可视化系统演示

训练完成后,项目用 PyQt5 做了一套三栏可视化系统:左侧导图、中间原图/检测图对比、右侧参数与模型加载。

图5-1 可视化初始

图5-1 是系统刚启动时的界面,布局为左导图、中预览、右参数三栏结构。 右侧项目显示为 RT-DETR PCB,默认 img_scale=1024,与训练分辨率保持一致。 threshold=0.25、iou_threshold=0.50 可在检测后实时调整,方便压误报或看更多候选框。 日志区提示加载权重 runs/detect/rtdetr_pcb_opt/weights/best.pt,说明推理入口已对齐训练产物。 使用流程很简单:先「导入图片」,再「加载模型」,选中图片即可开始检测。

图5-2 可视化检测图

图5-2是一次真实推理结果,左侧原图、右侧检测图可同步缩放对照。 模型在该样本上标出两处「缺孔」,置信度约 0.82~0.83,框位置与孔位对应清楚。 日志区同步输出模型架构、六类中文名、以及「检测到 2 个目标」等统计信息。 右侧「类别屏蔽」可按需隐藏某类框,便于单独观察某一类缺陷是否稳定。 这类可视化闭环能快速发现漏检/误检,比只看 mAP 数字更接近现场验收方式。

六、模型核心代码

6.1 构建 RT-DETR

model_rtdetr.py:用 Ultralytics 的 RTDETR 构建模型,并设置 PCB 六类。

python 复制代码
from ultralytics import RTDETR


def build_model(weights: str = "rtdetr-l.pt", nc: int = 6) -> RTDETR:
    """
    构建 RT-DETR 检测模型。
    Backbone : HGNetv2 提取多尺度特征
    Neck     : AIFI + FPN/PAN 融合
    Head     : RTDETRDecoder 输出检测框
    """
    model = RTDETR(weights)
    if hasattr(model, "model") and hasattr(model.model, "nc"):
        model.model.nc = nc
    return model

6.2 训练超参(小目标友好)

config_rtdetr.py:把输入分辨率提到 1024,并关闭过早的 early stop,让模型多训几轮。

python 复制代码
from pathlib import Path

root = Path(__file__).resolve().parent

data_yaml = str(root / "pcb.yaml")
model_weights = "rtdetr-l.pt"
nc = 6

imgsz = 1024      # 原图约 600,抬高分辨率利于小目标
epochs = 24
batch = 4
device = "0"
workers = 0
close_mosaic = 20

def get_train_args() -> dict:
    return dict(
        data=data_yaml,
        imgsz=imgsz,
        epochs=epochs,
        batch=batch,
        device=device,
        workers=workers,
        project=str(root / "runs" / "detect"),
        name="rtdetr_pcb_opt",
        patience=0,
        deterministic=False,
        close_mosaic=close_mosaic,
    )

6.3 训练入口

train_rtdetr.py:组装配置并启动训练,结束后打印最佳权重路径。

python 复制代码
import os
from pathlib import Path

os.environ.setdefault("KMP_DUPLICATE_LIB_OK", "TRUE")


def main():
    import config_rtdetr as cfg
    from model_rtdetr import build_model, model_info

    data = Path(cfg.data_yaml)
    if not data.exists():
        raise FileNotFoundError(f"找不到数据集配置: {data}")

    model = build_model(weights=cfg.model_weights, nc=cfg.nc)
    model_info(model)

    results = model.train(**cfg.get_train_args())
    best = Path(results.save_dir) / "weights" / "best.pt"
    print(f"最佳权重: {best}")


if __name__ == "__main__":
    main()

6.4 GUI 推理核心

GUI/model_predictor.py 核心逻辑示意(界面里封装在 ModelPredictor 类中):用 RTDETR 加载 best.pt,推理后解析框并映射中文类别。

python 复制代码
from ultralytics import RTDETR

CLASS_NAMES_ZH = {
    'missing_hole': '缺孔',
    'mouse_bite': '鼠咬',
    'open_circuit': '开路',
    'short': '短路',
    'spur': '毛刺',
    'spurious_copper': '余铜',
}

def load_and_predict(model_path, image_path, imgsz=1024, iou=0.50):
    model = RTDETR(model_path)
    # 推理用较低 conf,界面再按 threshold 二次过滤
    results = model.predict(
        image_path, imgsz=imgsz, conf=0.01, iou=iou, verbose=False
    )

    detections = []
    boxes = results[0].boxes
    for i in range(len(boxes)):
        x1, y1, x2, y2 = map(int, boxes.xyxy[i].cpu().numpy())
        conf = float(boxes.conf[i].cpu().numpy())
        cls = int(boxes.cls[i].cpu().numpy())
        name_en = model.names[cls]
        detections.append({
            'bbox': [x1, y1, x2, y2],
            'class_name': CLASS_NAMES_ZH.get(name_en, name_en),
            'confidence': conf,
        })
    return detections

七、项目思路

如果你也在做工业缺陷检测,可以把本项目的流程拆成四步:

1、先看数据尺度

不要一上来就换大模型。先画标签分布:看类别是否均衡、框中心落在哪里、宽高大概占原图多少。VOC_PCB 上六类样本接近,但缺陷框普遍很小(宽高约 0.04),说明瓶颈更可能在「小目标可见性」,而不只是类别不平衡。这一步决定后面该加分辨率、做裁剪,还是先补数据。

2、提高分辨率

小目标在低分辨率下容易被下采样「抹掉」。本项目原图大约 600,训练时把 imgsz 提到 1024,让缺陷在特征图上占更多像素,定位更稳。代价是显存和耗时上升,所以 batch 设为 4,用可接受的训练成本换更好的检出。工业场景里,「分辨率策略」往往比盲目堆模型层数更有效。

3、端到端 Transformer 检测

在数据与分辨率理顺后,再选检测器。RT-DETR 走端到端路线:Backbone 提特征,Decoder 直接出框,后处理更干净,也更适合需要稳定框质量的质检任务。配合 Ultralytics 接口,训练、验证、导出权重一条链路就能跑通,便于快速迭代超参(epochs、close_mosaic、IoU 等)。

4、用可视化界面闭环验证

指标好看不等于现场好用。本项目用 PyQt5 把「导图 → 加载 best.pt → 调 threshold / iou → 看原图与检测图对比 → 查日志与表格」串成闭环。你可以直观确认漏检、误检,并按类别屏蔽观察;发现问题再回到数据或训练配置修正。工业项目最终要落到可演示、可调试的工具上,而不是只停在 mAP 数字。

一句话概括:先诊断数据,再匹配分辨率,再用端到端检测器求解,最后用可视化把结果验回真实场景。

八、总结

本项目完成了从数据诊断、RT-DETR 训练到 PyQt5 可视化验收的完整链路。面对 VOC_PCB 六类小目标缺陷,通过把输入分辨率提升到 1024,验证集 mAP@0.5 达到约 0.983 ,各类几乎不互相混淆;相对薄弱的是 short,以及更严 IoU 下的定位精度,后续仍有优化空间。更重要的是,检测结果不再只停在曲线和表格里,而是能在界面里直接对照原图、调参和筛类别,便于发现漏检与误报。若你也在做工业视觉质检,可以沿用这条路径:先认清数据尺度,再匹配训练策略,最后用可视化把模型真正落到可用工具上。

九、视频演示

基于 RT-DETR 的 PCB 缺陷检测

相关推荐
高洁0121 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复1 天前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5633 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库3 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi3 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI小怪兽3 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考4 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法