谷歌发布高效运行语言模型的 C++ 库：LiteRT-LM
LiteRT-LM 支持跨平台高效运行 Gemma-3N 系列模型，支持 2B 和 4B 参数模型，适用于桌面环境（Mac/Windows/Linux）及物联网设备
语言模型不再是一个单一模型，而是一个由多个模型和组件协同工作的流水线。LiteRT-LM 基于 LiteRT 构建，以支持这些流水线，包括：
- C++ API 高效运行语言模型
- 跨平台支持，通过便携式 C++ 实现广泛部署场景
- 灵活可定制，满足您的特定功能需求
- 硬件加速，释放设备硬件的全部潜能
参考开源
https://github.com/google-ai-edge/LiteRT-LM
https://huggingface.co/google/gemma-3n-E2B-it-litert-lm-preview