工业质检里,PCB 缺陷往往又小又散。本文记录一次完整实践:用 RT-DETR 在 VOC_PCB 六类缺陷数据上训练,并搭一套 PyQt5 可视化检测界面。
一、 项目背景
印刷电路板(PCB)在生产过程中常见缺孔、鼠咬、开路、短路、毛刺、余铜等缺陷。传统人工目检效率低、主观性强,因此很适合用目标检测做辅助质检。
本项目选型 RT-DETR(Real-Time Detection Transformer):
- 端到端检测,少依赖复杂后处理
- 对小目标更友好(配合更高输入分辨率)
- 基于 Ultralytics 接口,训练与部署链路清晰
最终效果:验证集 mAP@0.5 ≈ 0.983,并完成可交互的检测 GUI。
二、数据集介绍
2.1 缺陷类别表
| 类别 ID | 英文名 | 中文名 | 训练集实例数 |
|---|---|---|---|
| 0 | missing_hole | 缺孔 | 514 |
| 1 | mouse_bite | 鼠咬 | 518 |
| 2 | open_circuit | 开路 | 505 |
| 3 | short | 短路 | 557 |
| 4 | spur | 毛刺 | 551 |
| 5 | spurious_copper | 余铜 | 576 |
表2-1 缺陷类别表
上表与
labels.jpg一致,统计的是 train 集;若合计 train+val,各类约在 785~820。
数据集配置文件 pcb.yaml 示意:
XML
train: images/train
val: images/val
names:
0: missing_hole
1: mouse_bite
2: open_circuit
3: short
4: spur
5: spurious_copper
nc: 6
三、 数据分析
3.1 数据集标签分析

图3-1 数据集标签分析图
图3-1 是训练前的数据分布诊断,用来判断后续该不该加分辨率、补数据或换模型。 左上柱状图显示六类样本约在 500~580,类别相对均衡,说明主要矛盾不在类别失衡。 右上框叠加与右下宽高热力图表明缺陷框很小,宽高多集中在 0.04 附近,属于典型小目标。 左下 xy 分布较均匀,缺陷并不集中在某一角落,整图各区域都可能出现问题。 因此后续把输入从约 600 提升到 1024,优先解决「缺陷太小看不清」的问题。
四、训练配置与结果
4.1 关键训练设置
| 项目 | 取值 |
|---|---|
| 模型 | RT-DETR-L(rtdetr-l.pt) |
| 输入尺寸 | 1024 |
| Epochs | 24 |
| Batch | 4 |
| 设备 | GPU(示例:NVIDIA GeForce MX550) |
| close_mosaic | 20 |
4-1 训练配置表
4.2训练曲线

图4-1 训练损失曲线图
图4-1 给出训练/验证损失与精度随 epoch 变化的完整曲线。 cls_loss、giou_loss、l1_loss 整体持续下降,说明分类和框回归都在稳定收敛。 Precision / Recall 很快爬升并稳定在高位,模型较快进入可用状态。 mAP50 接近 0.99,而 mAP50-95 仍在上升,说明严 IoU 下的定位还有提升空间。 训练与验证损失趋势一致,未见明显过拟合,24 轮训练设置较为合理。
4.3PR 曲线

图4-2 PR 曲线图
图4-2 是六类缺陷各自的 Precision-Recall 曲线,用来看「找全」和「找准」的权衡。 整体 mAP@0.5 达到 0.983 ,说明验证集上综合表现已经很高。 mouse_bite、spurious_copper、open_circuit、missing_hole 基本都在 0.99 左右。 相对难点是 short(约 0.949),仍属高水平,但后续可重点做难例挖掘。 多数曲线在高召回区间才掉精度,说明模型通常能同时兼顾检出率和准确率。
4.4 归一化混淆矩阵

图4-3 混淆矩阵
图4-3是归一化混淆矩阵,用来检查类间是否互相认错。 对角线正确分类比例极高,多数类别达到 0.97~1.00,说明六类边界清晰。 类与类之间几乎不互相混淆,例如很少把开路错成短路,或把毛刺错成余铜。 主要噪声来自 background:一部分背景被误检为缺陷,也有极少数缺陷被漏成背景。 实际部署时可适当提高置信度阈值,用少量召回换更低的误报率。
五、可视化系统演示
训练完成后,项目用 PyQt5 做了一套三栏可视化系统:左侧导图、中间原图/检测图对比、右侧参数与模型加载。

图5-1 可视化初始
图5-1 是系统刚启动时的界面,布局为左导图、中预览、右参数三栏结构。 右侧项目显示为 RT-DETR PCB,默认 img_scale=1024,与训练分辨率保持一致。 threshold=0.25、iou_threshold=0.50 可在检测后实时调整,方便压误报或看更多候选框。 日志区提示加载权重 runs/detect/rtdetr_pcb_opt/weights/best.pt,说明推理入口已对齐训练产物。 使用流程很简单:先「导入图片」,再「加载模型」,选中图片即可开始检测。

图5-2 可视化检测图
图5-2是一次真实推理结果,左侧原图、右侧检测图可同步缩放对照。 模型在该样本上标出两处「缺孔」,置信度约 0.82~0.83,框位置与孔位对应清楚。 日志区同步输出模型架构、六类中文名、以及「检测到 2 个目标」等统计信息。 右侧「类别屏蔽」可按需隐藏某类框,便于单独观察某一类缺陷是否稳定。 这类可视化闭环能快速发现漏检/误检,比只看 mAP 数字更接近现场验收方式。
六、模型核心代码
6.1 构建 RT-DETR
model_rtdetr.py:用 Ultralytics 的 RTDETR 构建模型,并设置 PCB 六类。
python
from ultralytics import RTDETR
def build_model(weights: str = "rtdetr-l.pt", nc: int = 6) -> RTDETR:
"""
构建 RT-DETR 检测模型。
Backbone : HGNetv2 提取多尺度特征
Neck : AIFI + FPN/PAN 融合
Head : RTDETRDecoder 输出检测框
"""
model = RTDETR(weights)
if hasattr(model, "model") and hasattr(model.model, "nc"):
model.model.nc = nc
return model
6.2 训练超参(小目标友好)
config_rtdetr.py:把输入分辨率提到 1024,并关闭过早的 early stop,让模型多训几轮。
python
from pathlib import Path
root = Path(__file__).resolve().parent
data_yaml = str(root / "pcb.yaml")
model_weights = "rtdetr-l.pt"
nc = 6
imgsz = 1024 # 原图约 600,抬高分辨率利于小目标
epochs = 24
batch = 4
device = "0"
workers = 0
close_mosaic = 20
def get_train_args() -> dict:
return dict(
data=data_yaml,
imgsz=imgsz,
epochs=epochs,
batch=batch,
device=device,
workers=workers,
project=str(root / "runs" / "detect"),
name="rtdetr_pcb_opt",
patience=0,
deterministic=False,
close_mosaic=close_mosaic,
)
6.3 训练入口
train_rtdetr.py:组装配置并启动训练,结束后打印最佳权重路径。
python
import os
from pathlib import Path
os.environ.setdefault("KMP_DUPLICATE_LIB_OK", "TRUE")
def main():
import config_rtdetr as cfg
from model_rtdetr import build_model, model_info
data = Path(cfg.data_yaml)
if not data.exists():
raise FileNotFoundError(f"找不到数据集配置: {data}")
model = build_model(weights=cfg.model_weights, nc=cfg.nc)
model_info(model)
results = model.train(**cfg.get_train_args())
best = Path(results.save_dir) / "weights" / "best.pt"
print(f"最佳权重: {best}")
if __name__ == "__main__":
main()
6.4 GUI 推理核心
GUI/model_predictor.py 核心逻辑示意(界面里封装在 ModelPredictor 类中):用 RTDETR 加载 best.pt,推理后解析框并映射中文类别。
python
from ultralytics import RTDETR
CLASS_NAMES_ZH = {
'missing_hole': '缺孔',
'mouse_bite': '鼠咬',
'open_circuit': '开路',
'short': '短路',
'spur': '毛刺',
'spurious_copper': '余铜',
}
def load_and_predict(model_path, image_path, imgsz=1024, iou=0.50):
model = RTDETR(model_path)
# 推理用较低 conf,界面再按 threshold 二次过滤
results = model.predict(
image_path, imgsz=imgsz, conf=0.01, iou=iou, verbose=False
)
detections = []
boxes = results[0].boxes
for i in range(len(boxes)):
x1, y1, x2, y2 = map(int, boxes.xyxy[i].cpu().numpy())
conf = float(boxes.conf[i].cpu().numpy())
cls = int(boxes.cls[i].cpu().numpy())
name_en = model.names[cls]
detections.append({
'bbox': [x1, y1, x2, y2],
'class_name': CLASS_NAMES_ZH.get(name_en, name_en),
'confidence': conf,
})
return detections
七、项目思路
如果你也在做工业缺陷检测,可以把本项目的流程拆成四步:
1、先看数据尺度
不要一上来就换大模型。先画标签分布:看类别是否均衡、框中心落在哪里、宽高大概占原图多少。VOC_PCB 上六类样本接近,但缺陷框普遍很小(宽高约 0.04),说明瓶颈更可能在「小目标可见性」,而不只是类别不平衡。这一步决定后面该加分辨率、做裁剪,还是先补数据。
2、提高分辨率
小目标在低分辨率下容易被下采样「抹掉」。本项目原图大约 600,训练时把 imgsz 提到 1024,让缺陷在特征图上占更多像素,定位更稳。代价是显存和耗时上升,所以 batch 设为 4,用可接受的训练成本换更好的检出。工业场景里,「分辨率策略」往往比盲目堆模型层数更有效。
3、端到端 Transformer 检测
在数据与分辨率理顺后,再选检测器。RT-DETR 走端到端路线:Backbone 提特征,Decoder 直接出框,后处理更干净,也更适合需要稳定框质量的质检任务。配合 Ultralytics 接口,训练、验证、导出权重一条链路就能跑通,便于快速迭代超参(epochs、close_mosaic、IoU 等)。
4、用可视化界面闭环验证
指标好看不等于现场好用。本项目用 PyQt5 把「导图 → 加载 best.pt → 调 threshold / iou → 看原图与检测图对比 → 查日志与表格」串成闭环。你可以直观确认漏检、误检,并按类别屏蔽观察;发现问题再回到数据或训练配置修正。工业项目最终要落到可演示、可调试的工具上,而不是只停在 mAP 数字。
一句话概括:先诊断数据,再匹配分辨率,再用端到端检测器求解,最后用可视化把结果验回真实场景。
八、总结
本项目完成了从数据诊断、RT-DETR 训练到 PyQt5 可视化验收的完整链路。面对 VOC_PCB 六类小目标缺陷,通过把输入分辨率提升到 1024,验证集 mAP@0.5 达到约 0.983 ,各类几乎不互相混淆;相对薄弱的是 short,以及更严 IoU 下的定位精度,后续仍有优化空间。更重要的是,检测结果不再只停在曲线和表格里,而是能在界面里直接对照原图、调参和筛类别,便于发现漏检与误报。若你也在做工业视觉质检,可以沿用这条路径:先认清数据尺度,再匹配训练策略,最后用可视化把模型真正落到可用工具上。
九、视频演示
基于 RT-DETR 的 PCB 缺陷检测