端侧 NPU 轻量大模型推理接入笔记【鸿蒙心迹】本文记录了一次把自研轻量大模型真正跑在端侧 NPU 上的完整落地过程。作者从 MindSpore Lite 推理框架出发,梳理了模型转换、INT8 量化、算子兼容性检查与模型生命周期管理四个关键环节,并给出可直接复用的 TypeScript 代码骨架。实测表明:80MB 的 FP32 模型在 NPU 上单次推理约 2 秒且发热明显,转为 INT8 量化后体积降至 18MB、时延降至 220ms,温升可控。文章同时总结了三个高频踩坑点——浮点模型直接上 NPU、自定义算子静默失败、模型常驻不释放导致显存耗尽