Google 在 2026 年 10 月介绍了 LiteRT Tensor API。它解决的不是"再发布一个大模型",而是让开发者通过 C++ 算子直接组织计算图,并选择 CPU、TFLite 或特定 GPU 的执行路线。
三条路径怎么选?
- XNNPACK CPU:通过 XnnpackMixinTag 直接运行,适合先验证计算图和数值结果。
- TFLite + CompiledModel:通过 TfLiteMixinTag 序列化为 .tflite,适合现有 LiteRT 应用的后续部署验证。
- ML Drift GPU:通过 MlDriftMixinTag 走受支持的 GPU 后端,需要验证算子、驱动及目标设备。
为什么不能直接说 NPU 更快?
CPU/GPU/NPU 的支持需要分别核查:能构图不代表目标后端具备全部算子;设备有 NPU 也不等于实际在 NPU 上运行。更不能在没有真实运行记录时写"速度提升"。
本文根据 Google 官方说明和公开源码进行工程梳理,尚未在目标手机运行测试,也没有独立性能、内存或电量跑分。
官方来源: developers.googleblog.com/en/native-m... github.com/google-ai-e...
详细 C++ 代码路径、Bazel、验证步骤与设备兼容问题见原文: www.xbstack.com/ai/litert-t...