量化部署

goehou14 天前
llm·本地部署·awq·量化部署·显存优化
模型量化部署实战：显存、精度与量化版本怎么选（附显存账）显存不够，是本地部署绕不开的第一道坎。同事发来一个开源模型，宣传语写着 74B 参数压进 24GB 显存，他照着一跑，OOM。把宣传口径拆开算了一遍账，问题不在模型，在没算清楚显存花在哪。
Techblog of HaoWANG7 个月前
python·yolo·目标检测·onnx·量化部署
目标检测与跟踪（10）-- Jetson Xavier NX刷机、移植&部署YOLOv8量化模型（中）Run CMD Task:[dpkg --print-architecture] [-][0.01s] CMD Result:success
Techblog of HaoWANG10 个月前
yolo·目标检测·onnx·量化部署
目标检测与跟踪 （7）- YOLOv8 ONNX量化模型部署指南本文以YOLOv8模型从训练到ONNX量化部署的完整流程为主线。主要内容包括：1）环境准备与模型导出为ONNX格式；2）ONNX模型的FP16/INT8量化方法；3）使用ONNXRuntime和TensorRT的部署实现；4）性能优化策略如IO绑定和批处理；5）完整的部署脚本和注意事项。该方案支持静态和动态输入尺寸，提供多种量化精度选择，并包含基准测试功能，适用于边缘计算和嵌入式设备部署场景。
Ethanwhh2 年前
android·大模型·量化部署
书生大模型实战（从入门到进阶）L3-彩蛋岛-InternLM 1.8B 模型 Android 端侧部署实践目录1 环境准备1.1 安装rust1.2 安装Android Studio1.3 设置环境变量2 转换模型
我是有底线的