2026 年 6-7 月，端侧 AI 模型迎来了一波爆发： Liquid AI 的 LFM 2.5（230M 参数）在手机上跑 213 tok/s，在树莓派 5 上跑 42 tok/s； Apple 的 AFM 3 Core Advanced（20B）原生端侧多模态，还开了 Python SDK； Qwen 3.5、Gemma 4、Phi-4 mini 同期扎堆发布。
模型很多，但真正的约束从来不是基准分数------是内存 和电量。
一、为什么 2026 年中端侧突然爆发
1.1 三个驱动力
| 驱动力 | 说明 |
|---|---|
| 架构优化 | Liquid AI 的门控短程卷积 + GQA，同参数量下速度提升 3-5 倍 |
| 硬件成熟 | 骁龙 8 Gen 4 / A18 Pro / Tensor G5 的 NPU 性能足够跑 3B+ 模型 |
| 量化技术 | int4 量化让 7B 模型压缩到 3.5GB，旗舰机可以装下 |
1.2 端侧 vs 云端的分界线
云端：需要世界知识、长上下文、复杂推理 → 用大模型 API
端侧：意图分类、结构化抽取、安全过滤、本地理解 → 用小模型
分界线：模型能装在 6GB 内存的手机上不崩溃二、2026 年 7 月端侧模型总览
2.1 参数对比
| 模型 | 参数 | 架构特色 | 速度（旗舰机） | 内存占用（int4） |
|---|---|---|---|---|
| LFM 2.5 | 230M | 门控卷积+GQA | 213 tok/s | ~200MB |
| Phi-4 mini | 3.8B | Transformer | 50-80 tok/s | ~2GB |
| Qwen 3.5 | 4B/9B | MoE 优化 | 30-60 tok/s | ~2-5GB |
| Gemma 4 E4B | 4B | 稀疏激活 | 40-70 tok/s | ~2.5GB |
| AFM 3 Core | 3B | Apple 原生 | 60-100 tok/s | ~2GB |
| AFM 3 Advanced | 20B | 稀疏+多模态 | 20-40 tok/s | ~5GB (需新机型) |
2.2 各模型强项
| 模型 | 最强场景 | 弱项 |
|---|---|---|
| LFM 2.5 | 意图分类、结构化抽取、极低延迟 | 复杂推理、长回复 |
| Phi-4 mini | 英语代码、轻量逻辑推理 | 中文一般 |
| Qwen 3.5 | 中文最佳、多语言 | 英文不如同参数竞品 |
| Gemma 4 E4B | 多模态、跨任务泛化 | 模型偏大 |
| AFM 3 Core | 苹果生态免费、原生优化 | 仅限 iOS |
| AFM 3 Advanced | 端侧多模态（图片+文本） | 仅限新 iPhone |
三、端侧模型路由策略
3.1 核心思想
不能只选一个模型------要在运行时根据设备和任务做路由。一个实际 App 的路由表：
routes:
# 简单任务 → 极速小模型
- task: intent_classification
model: lfm_250m
min_memory: 256MB
fallback: qwen_4b
# 中文理解 → 中文专用
- task: chinese_nlp
model: qwen_4b
min_memory: 2GB
fallback: cloud_api
# 端侧多模态 → 仅限新 iOS
- task: image_understanding
model: afm_3_advanced
platform: ios>=18
fallback: cloud_api
# 代码生成 → 轻量推理
- task: code_gen
model: phi_4_mini
min_memory: 2GB
fallback: cloud_api
# 保底：所有路由不通时走云端
- task: default
model: cloud_api3.2 运行时探测
def get_best_model(task_type):
memory = get_available_memory()
platform = get_platform_info()
for route in routing_table:
if route.task == task_type:
if memory >= route.min_memory:
# 检查平台兼容性
if not route.platform or platform in route.platform:
return route.model
# 内存不够 → 走降级
if route.fallback:
return route.fallback
return "cloud_api"3.3 OOM 降级路径（最重要）
端侧部署最常见的失败模式不是"回答质量差"，是在用户手机上直接崩溃。而且你在自己的测试机上根本复现不出来。
# 内存降级链
model_path:
- afm_3_advanced # 首选：20B（仅限新 iPhone）
memory_required: 5GB
- qwen_4b # 降级：4B
memory_required: 2GB
- lfm_250m # 再次降级：230M（几乎不占内存）
memory_required: 256MB
- cloud_api # 最后兜底：走云端
memory_required: 0四、实际部署建议
4.1 按场景推荐
| 你的 App 类型 | 推荐方案 | 理由 |
|---|---|---|
| 语音助手/陪伴 | LFM 230M（前端判断）+ 云端（补全回复） | 100ms 内出承接，用户不感知延迟 |
| AI 输入法/键盘 | Qwen 3.5 4B 或 Phi-4 mini | 中文+英文覆盖，2GB 内存够用 |
| 拍照识物/图片理解 | AFM 3 Advanced（iOS）/ 云端（安卓） | 端侧多模态目前只有苹果可用 |
| 代码辅助工具 | Phi-4 mini | 代码能力在同参数级别最好 |
| 跨平台 App | Qwen 3.5 4B + 路由表 | 中文优先，英文也够用 |
4.2 苹果生态的特殊优势
AFM 3 对 iOS 开发者来说是一个白送的礼物：
- 推理成本苹果承担，你的 API 账单归零
- Python SDK 允许用 Python 快速验证端侧功能
- 3B Core 在老机型也能跑，20B Advanced 仅限新机
但有两个坑：
- 仅限苹果生态，安卓用户吃不到
- 模型更新跟着 OS 走，你不能像 API 那样随时升级
五、端侧 vs 云端的成本边界
做一个简单的成本模型：
端侧： 一次性集成成本 + 用户电费（用户承担） 云端： 按 token 付费（你承担）
| 日活用户 | 端侧成本 | 云端成本（o4-mini） |
|---|---|---|
| 1K | $0（免费） | ~$5-15/天 |
| 10K | $0 | ~$50-150/天 |
| 100K | $0 | ~$500-1500/天 |
| 1M | $0（但集成成本高） | ~$5K-15K/天 |
结论： DAU 超过 1 万，端侧推理成本优势就很明显了。DAU 超过 10 万，不做端侧基本等于烧钱。
六、一句话总结
端侧模型的 2026 年，不是一个模型赢家通吃，而是一张路由表决定体验。 230M 做前端意图分类，4B 做中文理解，20B 做多模态，云端做保底。 关键不是选对某个模型------是把 OOM 降级路径做扎实。 在你自己的测试机上跑通了不算完------在用户的千元机上不崩溃才算。