技术栈
int8量化
Lee_jerome
20 天前
pytorch
·
边缘计算
·
rk3588
·
模型部署
·
onnx
·
resnet18
·
int8量化
从 PyTorch 权重到 RK3588 板端推理:ResNet18 二分类模型完整部署教程
在边缘 AI 项目中,模型训练(PyTorch)与最终部署(RK35xx 系列 NPU 板卡)之间隔着一条"格式鸿沟":RKNN 工具链不能直接读取 *.pth,必须经过 ONNX 中间表示才能进入 Rockchip 的专有格式。这条链路看似只有两个转换命令,真正决定成败的却是预处理一致性、量化标定、运行库版本配套这些细节。
阿钱真强道
1 个月前
目标检测
·
模型部署
·
yolov8
·
int8量化
28 YOLOv8 ONNX输出的cls与box提取详解——从[1,84,8400]到检测框
配套代码:本文末附完整可运行的 Python 代码演示,可复制到本地直接运行 一句话总结:YOLOv8 默认导出 ONNX 后,输出 [1, 84, 8400]——通道 0-3 是 box 坐标(值域 0~640),通道 4-83 是 cls 置信度(值域 0~1,已过 Sigmoid)。box 值域是 cls 的 ~700 倍。
阿钱真强道
2 个月前
余弦相似度
·
混合精度
·
长尾分布
·
检测头
·
int8量化
08 YOLOv8检测头对INT8敏感的深度拆解——从直觉到数学证明
一句话总结:检测头对INT8敏感的真实原因不是方差小,而是长尾分布(90%背景小值+10%目标大值)。σ=0.05的纯高斯分布下INT8也能保持0.9999的余弦相似度,但长尾分布下小值区域的相对误差高达4.1%(Backbone仅1.05%)。量化不怕整体缩小,怕的是有的地方缩得多、有的地方缩得少。
我是有底线的