文章目录
训练好的检测模型 best.pt
↓
模型压缩 / 加速
↓
剪枝 / 量化 / 蒸馏
↓
导出部署格式
↓
ONNX / TensorRT
↓
实际设备上推理
模型剪枝:删除冗余结构，让模型变小变快
非结构化剪枝
删掉单个权重：
某些 weight 变成 0优点：压缩率高。
缺点：普通硬件上不一定明显加速，因为矩阵结构变得稀疏，不好直接利用。
结构化剪枝
删掉整个通道、卷积核、层：
删除某些 channel
删除某些 filter优点：真实推理更容易加速。
目标检测部署里更常关注结构化剪枝。
模型量化:用低精度数值计算
目标检测推理时，每张图会经过：
预处理
模型前向推理
后处理 NMS
输出 bbox / score / class量化主要加速的是：
模型前向推理例如原来 YOLO 用 FP32 推理，量化后用 FP16 或 INT8 推理：
FP32 YOLO → FP16 YOLO → INT8 YOLO速度可能提升，模型更小，但检测精度可能下降。
两种常见量化
PTQ：Post-Training Quantization（训练后量化）
核心思想
模型训练完成后，不改变权重值本身 ，只是改变权重的数值表示方式------从高精度浮点数（FP32）压缩为低精度整数（INT8）或半精度浮点（FP16）。
在已经训练好的模型基础上，把模型计算过程中的连续浮点数近似成低精度的离散数值，然后用这些低精度数值继续完成目标检测推理。
原来：
FP32 权重 + FP32 激活值 → 特征提取 → 分类 + 框回归
PTQ 后：
INT8/FP16 权重 + INT8/FP16 激活值 → 特征提取 → 分类 + 框回归
为什么要量化？
| 指标 | FP32 | INT8 | 压缩比 |
|---|---|---|---|
| 每个数占用字节 | 4 bytes | 1 byte | 4x |
| 内存占用 | 基准 | 1/4 | ↓75% |
| 推理速度 | 基准 | 2~4x 更快 | ↑ |
| 硬件支持 | 通用 | 需 INT8 支持 | --- |
现代 GPU / NPU 对 INT8 运算有专门加速单元（如 NVIDIA 的 Tensor Core），所以速度提升显著。
PTQ 的完整流程
你写的流程可以扩展成这样：
第一步：先正常训练模型
例如用 SSDD 训练 YOLO，得到 best.pt
第二步：固定模型参数
不再反向传播，不再更新权重
第三步：准备少量校准数据
通常从训练集或验证集中抽取几十到几百张图
第四步：让模型跑一遍校准数据
统计每一层激活值的大致范围
第五步：根据数值范围计算量化参数
例如 scale、zero-point
第六步：把 FP32 权重和激活映射到 INT8 / FP16
第七步：导出部署模型
例如 ONNX、TensorRT engine、OpenVINO IR 等
第八步：测试量化后模型精度
重点看 mAP、Precision、Recall、FPS、模型大小QAT：Quantization-Aware Training（量化感知训练）
在训练过程中就模拟量化带来的误差，让模型提前适应 INT8 / 低精度推理环境，从而在最终导出量化模型时尽量减少精度下降。
普通训练：
模型一直在 FP32 环境下训练
最后突然变成 INT8
模型可能不适应
QAT：
训练时就模拟 INT8 的效果
模型提前适应量化误差
最后真的导出 INT8 时精度更稳
QAT 的基本流程
你给的流程可以扩展成这样：
第一步：准备一个已经训练好的 FP32 模型
例如 YOLO 的 best.pt
第二步：在模型中插入量化模拟模块
例如 Fake Quantization 模块
第三步：训练时进行伪量化
前向传播时模拟 INT8 量化误差
第四步：反向传播时继续更新 FP32 权重
通过梯度下降让模型适应量化误差
第五步：训练若干轮
通常不需要从头训练，而是在预训练模型基础上微调
第六步：导出真正的量化模型
例如 INT8 ONNX、TensorRT Engine、OpenVINO 模型等
第七步：测试量化模型效果
比较 FP32、PTQ INT8、QAT INT8 的 mAP、FPS、模型大小
知识蒸馏:大模型教小模型
知识蒸馏可以理解为小模型在训练阶段模仿大模型的预测行为，但这种模仿是通过损失函数和反向传播来更新小模型参数实现的。小模型的结构和推理流程通常不变，但参数会被调整，使其输出尽量接近大模型，同时保持较低的计算复杂度。
原本训练时，小模型主要根据真实标签 label 学习；知识蒸馏是在这个基础上，额外加入大模型提供的监督信息，让小模型不仅学标准答案，也学习大模型的判断分布、特征表达或检测结果。
训练目标变成：
小模型预测结果 ≈ 真实 label
小模型预测结果 ≈ 大模型预测结果模型部署(onnx,TensorRT)
你现在训练得到的是：
best.pt这是 PyTorch/Ultralytics 权重，适合在 Python 环境里跑。
但真实部署可能是：
服务器推理
边缘设备推理
C++ 工程
NVIDIA GPU 加速
嵌入式平台这些地方不一定直接跑 .pt。
所以要导出成部署格式。
ONNX
ONNX 可以理解成：
模型交换格式它的作用是：
把 PyTorch 训练出来的模型，转换成其他推理框架也能读取的通用格式。例如：
best.pt → best.onnxONNX 本身不是专门给目标检测设计的，它是通用模型格式。
best.pt 适合在 PyTorch 里继续训练、验证、推理，但如果你要部署到其他环境，比如：
C++ 程序
NVIDIA TensorRT
ONNX Runtime
OpenCV DNN
边缘设备
工业检测系统直接拿 .pt 不一定方便。
所以需要一个中间格式。
这个中间格式就是 ONNX。
ONNX 官方对它的定位是开放的机器学习模型格式，它定义了通用的计算图、内置算子和标准数据类型，用于不同框架、工具、运行时之间的模型互操作。
TensorRT
TensorRT 是 NVIDIA 的高性能深度学习推理优化 SDK。
TensorRT 的核心目标不是"交换模型"，而是：
让模型在 NVIDIA GPU 上跑得更快、更省显存、延迟更低。TensorRT engine
当你把 ONNX 模型交给 TensorRT 后，TensorRT 会分析这个计算图，然后生成一个专门优化后的推理文件，通常叫：
TensorRT engine或者：
.plan 文件
.engine 文件你可以理解成：
ONNX：通用图纸
TensorRT engine：针对某台 NVIDIA GPU 编译好的高性能执行版本流程是：
best.onnx
↓
TensorRT Builder 分析计算图
↓
选择合适 CUDA kernel
↓
做算子融合
↓
做精度优化 FP16 / INT8
↓
做显存规划
↓
生成 best.engine最终推理时，不是每次都重新分析 ONNX，而是直接加载这个 engine。
所以：
ONNX 偏通用；
TensorRT engine 偏专用。典型流程
ONNX 是"把模型翻译成大家都能看懂的图纸"；TensorRT 是"根据 NVIDIA GPU 把这张图纸重新编译成跑得更快的机器代码"。
典型流程是：
PyTorch 模型 best.pt
↓
导出成 ONNX：best.onnx
↓
TensorRT 读取 ONNX
↓
构建 TensorRT engine：best.engine
↓
在 NVIDIA GPU 上部署推理所以你可以这样理解：
PyTorch：训练和研究方便
ONNX：模型迁移和交换方便
TensorRT：NVIDIA GPU 部署推理快部署流程
如果你要部署，比如放到服务器、NVIDIA GPU、Jetson 上实时检测船只，那么 PyTorch 可能不是最高效选择。
部署流程可以是：
YOLO11n + SSDD 训练
↓
得到 best.pt
↓
导出 ONNX
↓
得到 best.onnx
↓
用 TensorRT 构建 engine
↓
得到 best.engine
↓
在 NVIDIA GPU 上做高速推理注意：
ONNX / TensorRT 不改变 YOLO 的检测任务。
它们改变的是模型的表示方式和推理执行方式。也就是说，模型还是做目标检测，只是从：
PyTorch 推理变成：
TensorRT 高性能推理