本文基于之前博客中的 YOLOv8 Docker 环境，详细讲解：
YOLOv8模型
↓
模型裁剪（Pruning）
↓
微调恢复精度
↓
ONNX/TensorRT部署适合人群：
- 想学习 AI 模型压缩
- 想减少模型体积
- 想提升推理速度
- 想学习剪枝/蒸馏/量化
- 想做边缘部署
本文环境：
| 项目 | 版本 |
|---|---|
| Ubuntu | 22.04 |
| GPU | GTX1660S |
| Docker | 最新版 |
| CUDA | 容器内置 |
| PyTorch | nvcr官方镜像 |
| YOLOv8 | ultralytics |
一、什么是模型裁剪？
模型裁剪（Pruning）：
删除神经网络中"不重要"的参数核心思想：
很多神经元其实没什么用因此：
- 可以删除
- 不影响太多精度
- 还能减少计算量
二、为什么需要裁剪？
深度学习模型通常：
参数很多
计算量很大尤其：
| 模型 | 参数量 |
|---|---|
| yolov8x | 非常大 |
| yolov8l | 很大 |
| yolov8m | 较大 |
边缘设备：
- GPU弱
- 显存小
- 功耗低
因此：
必须做模型压缩三、模型裁剪的优势
1. 模型更小
例如：
40MB
↓
20MB2. 推理更快
减少：
- FLOPs
- MACs
- GPU计算
3. 更适合部署
适用于：
- Jetson
- 工控机
- IPC
- ARM设备
四、模型裁剪的缺点
裁剪并不是白赚。
问题：
裁剪越狠
精度下降越大因此：
裁剪后通常需要微调(Fine-tune)恢复精度。
五、本文使用环境
1. Docker 镜像
沿用之前博客环境：
nvcr.io/nvidia/pytorch:24.12-py3优势：
- 自带 CUDA
- 自带 PyTorch
- GPU 环境稳定
NVIDIA NGC 官方容器：(catalog.ngc.nvidia.com)
六、启动 Docker
docker run -it --gpus all \
--shm-size=16g \
--name yolov8-prune \
-v /home/workspace:/workspace \
nvcr.io/nvidia/pytorch:24.12-py3七、安装 YOLOv8
1. 克隆源码
cd /workspace
git clone https://github.com/ultralytics/ultralytics.git
cd ultralytics官方项目：Ultralytics YOLOv8 Github
2. 安装依赖
pip install -e .八、准备模型
这里使用：
yolov8n.pt因为：
- 模型小
- GTX1660S 更容易测试
- 裁剪速度快
下载：
wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolov8n.pt九、模型裁剪原理
很多卷积权重：
接近0说明：
贡献不大因此：
可以删除。
十、两种主流裁剪方式
1. 非结构化裁剪
删除：
单个权重例如：
0.000001直接变成：
0优点：
- 简单
缺点：
实际加速不明显因为：
GPU 不喜欢稀疏矩阵。
2. 结构化裁剪（推荐）
删除：
- Channel
- Conv层
- Filter
例如：
64 channels
↓
32 channels真正减少：
- FLOPs
- 显存
- 推理时间
这是工业界主流方案。
十一、PyTorch 裁剪工具
PyTorch 官方：
torch.nn.utils.prune提供：
- L1裁剪
- 随机裁剪
- 结构化裁剪
PyTorch 官方文档：(pytorch.org)
十二、创建裁剪脚本
创建：
touch prune_yolov8.py十三、完整裁剪代码
import torch
import torch.nn.utils.prune as prune
from ultralytics import YOLO
# 加载模型
model = YOLO("yolov8n.pt")
net = model.model
# 遍历所有卷积层
for name, module in net.named_modules():
if isinstance(module, torch.nn.Conv2d):
print(f"Pruning {name}")
# L1非结构化裁剪
prune.l1_unstructured(
module,
name="weight",
amount=0.3
)
# 永久生效
prune.remove(module, "weight")
# 保存裁剪后的模型
torch.save(
net.state_dict(),
"yolov8n_pruned.pth"
)
print("模型裁剪完成")十四、代码解析
1. amount=0.3
表示：
裁剪30%权重2. prune.remove()
作用：
真正删除mask否则：
只是临时mask。
十五、运行裁剪
python prune_yolov8.py输出：
Pruning model.0.conv
Pruning model.1.conv
...
模型裁剪完成十六、查看模型大小变化
裁剪前
ls -lh yolov8n.pt例如：
6.2MB裁剪后
ls -lh yolov8n_pruned.pth可能：
4.5MB十七、为什么推理速度可能没变化？
很多新手会疑惑：
模型小了
为什么速度没提升？原因：
非结构化裁剪
不会真正减少计算图因此：
GPU 实际加速有限。
十八、真正工业界怎么做？
工业界：
结构化裁剪例如：
- 删除整个 Channel
- 删除整个 Filter
- 修改网络结构
这样：
才能真正加速十九、结构化裁剪示意
例如：
原始：
Conv:
64 channels裁剪后：
Conv:
32 channels这样：
- 参数减少
- FLOPs减少
- TensorRT真正加速
二十、裁剪后的问题
裁剪后：
精度通常下降因此：
必须：
重新训练(Fine-tune)二十一、微调恢复精度
例如：
yolo detect train \
model=yolov8n_pruned.pth \
data=coco128.yaml \
epochs=10作用：
恢复精度二十二、推荐裁剪比例
| 裁剪比例 | 建议 |
|---|---|
| 10% | 很安全 |
| 20% | 推荐 |
| 30% | 常用 |
| 50% | 容易掉点 |
| 70% | 基本废了 |
GTX1660S：
推荐：
20~30%二十三、模型裁剪 + 蒸馏
工业界常见：
蒸馏
+
裁剪流程：
Teacher
↓
蒸馏
↓
小模型
↓
裁剪
↓
Fine-tune效果非常好。
二十四、后续 ONNX/TensorRT
裁剪后：
推荐继续：
PyTorch
↓
ONNX
↓
TensorRT这是部署主流路线。
二十五、为什么 YOLOv8 适合裁剪？
YOLOv8：
- Backbone清晰
- Conv结构明显
- 模块化设计
因此：
非常适合剪枝二十六、GTX1660S 裁剪建议
1660S：
- 6GB显存
- Tensor Core有限
- 更适合轻量模型
推荐：
| 项目 | 推荐 |
|---|---|
| 模型 | yolov8n/s |
| 裁剪率 | 20~30% |
| imgsz | 640 |
| batch | 4 |
二十七、常见问题
1. 裁剪后无法加载
原因：
网络结构变化解决：
- 使用相同结构
- 或重新构建模型
2. 精度掉太多
原因：
裁剪过度解决：
- 降低 pruning ratio
- 增加 fine-tune
3. 推理没加速
原因：
只是稀疏化需要：
结构化裁剪二十八、完整 AI 模型优化路线
推荐学习路线：
YOLOv8训练
↓
蒸馏
↓
裁剪
↓
ONNX
↓
TensorRT
↓
INT8量化这是目前视觉 AI 非常主流的路线。
二十九、总结
本文基于：
- Ubuntu22.04
- Docker
- GTX1660S
- YOLOv8
实现了：
- 模型裁剪
- 权重删除
- Fine-tune恢复
- ONNX部署方向
核心思想：
删除不重要参数实现：
- 更小模型
- 更低显存
- 更快推理
这是 AI 部署优化中的核心技术之一。