技术栈
qwen-1.5
时光飞逝的日子
13 天前
rk3588
·
模型量化
·
llama-3
·
端侧大模型
·
qwen-1.5
嵌入式大模型部署：从 LLaMA-3 到 Qwen-1.5，在 RK3588 上实现本地 AI 推理（含模型量化教程）
目前多数嵌入式AI场景仍采用云端推理+端侧采集的架构，这种方案在实际落地中存在诸多短板：网络传输延迟不可控、设备依赖网络、用户数据上传存在隐私风险、大规模部署流量成本高昂。
我是有底线的