嵌入式场景算法轻量化部署checklist
本清单聚焦车载/嵌入式设备 的资源约束（算力有限、内存小、功耗敏感），覆盖模型选型→轻量化→转换→部署→验证全流程，可直接对照落地，适配 YOLO 目标检测、手部姿态估计等 CV/AI 算法。
一、 部署前准备（必查）
| 检查项 | 具体要求 | 避坑点 |
|---|---|---|
| 明确部署指标 | 1. 推理延迟：≤ XX ms（车载实时任务一般要求 ≤30ms） 2. 内存占用：≤ XX MB（嵌入式内存通常为百兆级） 3. 精度损失阈值：≤ X%（比如 mAP 下降不超过 2%） 4. 功耗限制：≤ XX W（车载设备对功耗敏感） | ❌ 只追求精度，忽略延迟：模型精度再高，实时性不达标也无法落地 |
| 确认硬件与推理框架 | 1. 硬件：明确芯片架构（ARM Cortex-A/R、NVIDIA Jetson、地平线征程等）、是否支持 GPU/NPU/TPU 加速 2. 推理框架：选择适配硬件的框架（如 TensorRT、ONNX Runtime、OpenVINO、地平线 Hobot Infer） | ❌ 框架与硬件不匹配：比如用 OpenVINO 部署到 ARM 设备，无法发挥加速效果 |
| 数据集适配嵌入式场景 | 1. 补充车载/嵌入式真实场景数据 （如夜间、逆光、不同路况的图像） 2. 数据分辨率与部署端一致（比如部署用 640×480，训练就不要用 1080×1920） | ❌ 用通用数据集训练，部署到真实场景精度暴跌 |
二、 模型轻量化（核心环节）
| 轻量化手段 | 检查项 | 调参/操作技巧 | 适用场景 |
|---|---|---|---|
| 1. 选型轻量化网络 | ✅ 是否优先选择专为嵌入式设计的网络架构 | 1. 目标检测：YOLOv8n/v5n、YOLOX-Nano、PP-YOLOE-tiny 2. 分类/姿态估计：MobileNetV2/V3、ShuffleNetV2、EfficientNet-Lite 3. 避免用大模型（如 YOLOv8x、ResNet50）直接部署 | 所有嵌入式场景，优先第一步做 |
| 2. 模型剪枝 | ✅ 是否对模型进行结构化剪枝（非结构化剪枝需硬件支持稀疏计算） | 1. 剪枝类型：优先通道剪枝 （删除冗余卷积通道），兼容性强；其次是层剪枝 2. 剪枝率：从 20% 开始尝试，逐步提升至 50%，每次剪枝后需微调训练 （恢复精度） 3. 工具：PyTorch Prune、TensorRT 剪枝工具 | 模型参数量大、内存占用高的场景 |
| 3. 模型量化 | ✅ 是否完成量化且验证精度损失 | 1. 量化级别（优先选前两种）： - INT8 量化：速度提升 3-4 倍，精度损失可控（推荐） - FP16 量化：速度提升 1-2 倍，精度几乎无损（需硬件支持 FP16 计算） - 量化感知训练（QAT）：若 PTQ（训练后量化）精度损失过大，用 QAT 微调 2. 量化校准：用真实场景的校准集（100-500 张图），避免用训练集 | 追求极致推理速度，所有嵌入式实时场景 |
| 4. 知识蒸馏 | ✅ 是否用大模型蒸馏小模型 | 1. 教师模型：高精度大模型（如 YOLOv8s） 2. 学生模型：轻量化小模型（如 YOLOv8n） 3. 蒸馏损失：结合硬损失（学生与标签）和软损失（学生与教师输出） | 对精度要求高，且小模型直接训练精度不足的场景 |
三、 模型转换与编译（关键步骤）
| 转换流程 | 检查项 | 操作要点 | 适配框架/硬件 |
|---|---|---|---|
| 1. 导出中间格式 | ✅ 是否导出为 ONNX 格式（嵌入式部署通用中间件） | 1. 导出时设置 opset_version（建议 ≥12，兼容更多算子） 2. 固定输入尺寸（如 --imgsz 640 640），避免动态尺寸导致推理慢 3. 去除训练相关算子（如 Dropout、BatchNorm 训练模式） |
所有推理框架通用 |
| 2. 算子优化与编译 | ✅ 是否针对硬件做算子融合/编译优化 | 1. NVIDIA 设备：用 TensorRT 编译 ONNX，开启算子融合（如 Conv+BN+ReLU 融合） 2. Intel x86 设备：用 OpenVINO 优化，转换为 IR 格式 3. 国产芯片（地平线、昇腾）：用厂商提供的工具链转换为专用格式（如 BModel） | 需根据硬件选择对应的编译工具 |
| 3. 兼容性检查 | ✅ 是否检查算子兼容性 | 1. 避免使用嵌入式框架不支持的算子（如 PyTorch 的 torch.where 部分版本不支持） 2. 若遇到不支持的算子，用自定义算子实现或替换为等效算子 |
防止转换失败或推理时崩溃 |
四、 部署集成与验证（最终落地）
| 阶段 | 检查项 | 具体操作 | 核心指标 |
|---|---|---|---|
| 1. C++ 集成推理 | ✅ 是否用 C++ 编写推理代码（比 Python 快 2-5 倍） | 1. 调用推理框架 API：TensorRT C++ API、ONNX Runtime C++ API 2. 预处理/后处理优化： - 用 OpenCV 硬件加速接口（如 cv::cuda::GpuMat） - 避免循环内的冗余计算（如重复归一化） 3. 内存管理：复用输入输出缓冲区，减少内存申请/释放 |
推理代码可直接编译运行，无内存泄漏 |
| 2. 性能测试 | ✅ 是否测试关键性能指标 | 1. 推理延迟：测试纯推理时间 （排除预处理/后处理）、端到端时间 （含前后处理） 2. 吞吐量：计算 FPS（每秒处理图像数） 3. 内存占用：用 top/htop 查看峰值内存 |
延迟、FPS 满足部署指标；内存占用低于阈值 |
| 3. 精度验证 | ✅ 是否在真实场景验证精度 | 1. 测试集：用嵌入式设备采集的真实场景数据 2. 指标：目标检测看 mAP@0.5，姿态估计看 PCK 分数 3. 对比：量化/剪枝后的模型精度 vs 原始模型精度，损失在阈值内 | 真实场景精度达标，无明显漏检/误检 |
| 4. 稳定性测试 | ✅ 是否进行长时间稳定性测试 | 1. 连续推理 24h 以上，检查是否崩溃、内存泄漏 2. 测试不同输入（如分辨率变化、异常图像），检查鲁棒性 | 无崩溃、无内存泄漏，异常输入不导致程序终止 |
五、 车载场景额外注意事项
- 实时性保障 ：采用多线程/异步推理，将预处理、推理、后处理解耦，避免单线程阻塞。
- 功耗控制：推理时关闭不必要的硬件核心，模型推理完成后及时释放计算资源。
- 温度适配：在高温/低温环境下测试模型性能，避免芯片降频导致延迟骤增。