量化部署

Techblog of HaoWANG21 天前
yolo·目标检测·onnx·量化部署
目标检测与跟踪 （7）- YOLOv8 ONNX量化模型部署指南本文以YOLOv8模型从训练到ONNX量化部署的完整流程为主线。主要内容包括：1）环境准备与模型导出为ONNX格式；2）ONNX模型的FP16/INT8量化方法；3）使用ONNXRuntime和TensorRT的部署实现；4）性能优化策略如IO绑定和批处理；5）完整的部署脚本和注意事项。该方案支持静态和动态输入尺寸，提供多种量化精度选择，并包含基准测试功能，适用于边缘计算和嵌入式设备部署场景。
Ethanwhh1 年前
android·大模型·量化部署
书生大模型实战（从入门到进阶）L3-彩蛋岛-InternLM 1.8B 模型 Android 端侧部署实践目录1 环境准备1.1 安装rust1.2 安装Android Studio1.3 设置环境变量2 转换模型
我是有底线的