端侧 AI 模型选型指南 2026：从 230M 到 20B 的路由策略

2026 年 6-7 月，端侧 AI 模型迎来了一波爆发： Liquid AI 的 LFM 2.5（230M 参数）在手机上跑 213 tok/s，在树莓派 5 上跑 42 tok/s； Apple 的 AFM 3 Core Advanced（20B）原生端侧多模态，还开了 Python SDK； Qwen 3.5、Gemma 4、Phi-4 mini 同期扎堆发布。

模型很多，但真正的约束从来不是基准分数------是内存和电量。

一、为什么 2026 年中端侧突然爆发

1.1 三个驱动力

驱动力	说明
架构优化	Liquid AI 的门控短程卷积 + GQA，同参数量下速度提升 3-5 倍
硬件成熟	骁龙 8 Gen 4 / A18 Pro / Tensor G5 的 NPU 性能足够跑 3B+ 模型
量化技术	int4 量化让 7B 模型压缩到 3.5GB，旗舰机可以装下

1.2 端侧 vs 云端的分界线

复制代码

云端：需要世界知识、长上下文、复杂推理 → 用大模型 API
端侧：意图分类、结构化抽取、安全过滤、本地理解 → 用小模型

分界线：模型能装在 6GB 内存的手机上不崩溃

二、2026 年 7 月端侧模型总览

2.1 参数对比

模型	参数	架构特色	速度（旗舰机）	内存占用（int4）
LFM 2.5	230M	门控卷积+GQA	213 tok/s	~200MB
Phi-4 mini	3.8B	Transformer	50-80 tok/s	~2GB
Qwen 3.5	4B/9B	MoE 优化	30-60 tok/s	~2-5GB
Gemma 4 E4B	4B	稀疏激活	40-70 tok/s	~2.5GB
AFM 3 Core	3B	Apple 原生	60-100 tok/s	~2GB
AFM 3 Advanced	20B	稀疏+多模态	20-40 tok/s	~5GB (需新机型)

2.2 各模型强项

模型	最强场景	弱项
LFM 2.5	意图分类、结构化抽取、极低延迟	复杂推理、长回复
Phi-4 mini	英语代码、轻量逻辑推理	中文一般
Qwen 3.5	中文最佳、多语言	英文不如同参数竞品
Gemma 4 E4B	多模态、跨任务泛化	模型偏大
AFM 3 Core	苹果生态免费、原生优化	仅限 iOS
AFM 3 Advanced	端侧多模态（图片+文本）	仅限新 iPhone

三、端侧模型路由策略

3.1 核心思想

复制代码

不能只选一个模型------要在运行时根据设备和任务做路由。

一个实际 App 的路由表：

复制代码

routes:
  # 简单任务 → 极速小模型
  - task: intent_classification
    model: lfm_250m
    min_memory: 256MB
    fallback: qwen_4b

  # 中文理解 → 中文专用
  - task: chinese_nlp
    model: qwen_4b
    min_memory: 2GB
    fallback: cloud_api

  # 端侧多模态 → 仅限新 iOS
  - task: image_understanding
    model: afm_3_advanced
    platform: ios>=18
    fallback: cloud_api

  # 代码生成 → 轻量推理
  - task: code_gen
    model: phi_4_mini
    min_memory: 2GB
    fallback: cloud_api
  
  # 保底：所有路由不通时走云端
  - task: default
    model: cloud_api

3.2 运行时探测

复制代码

def get_best_model(task_type):
    memory = get_available_memory()
    platform = get_platform_info()
    
    for route in routing_table:
        if route.task == task_type:
            if memory >= route.min_memory:
                # 检查平台兼容性
                if not route.platform or platform in route.platform:
                    return route.model
            # 内存不够 → 走降级
            if route.fallback:
                return route.fallback
    return "cloud_api"

3.3 OOM 降级路径（最重要）

端侧部署最常见的失败模式不是"回答质量差"，是在用户手机上直接崩溃。而且你在自己的测试机上根本复现不出来。

复制代码

# 内存降级链
model_path:
  - afm_3_advanced    # 首选：20B（仅限新 iPhone）
    memory_required: 5GB
  - qwen_4b           # 降级：4B
    memory_required: 2GB  
  - lfm_250m          # 再次降级：230M（几乎不占内存）
    memory_required: 256MB
  - cloud_api         # 最后兜底：走云端
    memory_required: 0

四、实际部署建议

4.1 按场景推荐

你的 App 类型	推荐方案	理由
语音助手/陪伴	LFM 230M（前端判断）+ 云端（补全回复）	100ms 内出承接，用户不感知延迟
AI 输入法/键盘	Qwen 3.5 4B 或 Phi-4 mini	中文+英文覆盖，2GB 内存够用
拍照识物/图片理解	AFM 3 Advanced（iOS）/ 云端（安卓）	端侧多模态目前只有苹果可用
代码辅助工具	Phi-4 mini	代码能力在同参数级别最好
跨平台 App	Qwen 3.5 4B + 路由表	中文优先，英文也够用

4.2 苹果生态的特殊优势

AFM 3 对 iOS 开发者来说是一个白送的礼物：

推理成本苹果承担，你的 API 账单归零
Python SDK 允许用 Python 快速验证端侧功能
3B Core 在老机型也能跑，20B Advanced 仅限新机

但有两个坑：

仅限苹果生态，安卓用户吃不到
模型更新跟着 OS 走，你不能像 API 那样随时升级

五、端侧 vs 云端的成本边界

做一个简单的成本模型：

端侧： 一次性集成成本 + 用户电费（用户承担） 云端： 按 token 付费（你承担）

日活用户	端侧成本	云端成本（o4-mini）
1K	$0（免费）	~$5-15/天
10K	$0	~$50-150/天
100K	$0	~$500-1500/天
1M	$0（但集成成本高）	~$5K-15K/天

结论： DAU 超过 1 万，端侧推理成本优势就很明显了。DAU 超过 10 万，不做端侧基本等于烧钱。

六、一句话总结

端侧模型的 2026 年，不是一个模型赢家通吃，而是一张路由表决定体验。 230M 做前端意图分类，4B 做中文理解，20B 做多模态，云端做保底。关键不是选对某个模型------是把 OOM 降级路径做扎实。在你自己的测试机上跑通了不算完------在用户的千元机上不崩溃才算。