1. 引言：当端侧 AI 开始「算账」
过去几年，端侧芯片的宣传口径几乎被一个数字统治------TOPS（每秒万亿次运算）。从手机 SoC 到 PC 处理器，再到各类 AI 加速卡，厂商们乐此不疲地把 TOPS 越堆越高，仿佛只要算力足够大，端侧 AI 就能水到渠成。
但真正把大模型塞进手机、PC、车机和可穿戴设备之后，行业很快发现：TOPS 高不等于体验好。一台标称 40 TOPS 的设备，跑起 7B 模型可能只有个位数 token/s，风扇狂转、电量狂掉；而另一台标称 20 TOPS 的设备，反而能流畅地长时间对话。
于是，一个新的指标开始被反复提及------每瓦 Token 数（Tokens per Watt）。它衡量的不是「峰值能算多快」，而是「每一瓦功耗能稳定产出多少有效 token」。这个看似简单的换算，正在把端侧芯片的设计逻辑从「堆算力」推向「算效率」。
本文围绕四个问题展开：
- 「每瓦 Token 数」为何会取代 TOPS 成为端侧 AI 的核心指标；
- 高通、联发科等厂商的端侧芯片路线如何围绕这一指标演进；
- 设备从「被动响应」走向「主动服务」，对算力提出了哪些新要求；
- 端侧芯片如何在功耗、性能、成本这个三角中寻找平衡。
全文的逻辑主线可以先用一张图串起来：
2. 「每瓦 Token 数」为何取代 TOPS 成为核心指标
2.1 TOPS 的天然缺陷：峰值算力与真实体验脱节
TOPS 描述的是理论峰值吞吐，通常基于特定精度（如 INT8）和理想数据复用条件下测得。它有三个绕不开的问题：
- 峰值不可持续：端侧设备受散热和电池约束，峰值算力往往只能维持几秒到几十秒，随后因降频而大幅回落。
- 算力利用率低：大模型推理是访存密集型任务，解码阶段每生成一个 token 都要把权重和 KV Cache 搬一遍，算力单元经常在等数据，实际利用率可能只有峰值的百分之几到几十。
- 忽略能效：同样 20 TOPS，一个功耗 2W、一个功耗 15W，在移动端的体验天差地别，但 TOPS 这个数字完全看不出来。
下面这张图直观展示了 TOPS 峰值与实际可持续算力之间的落差：
2.2 每瓦 Token 数的定义与价值
「每瓦 Token 数」可以粗略表示为：
text
Tokens per Watt = 稳定输出 token 速率（token/s） ÷ 整机或芯片实际功耗（W）它把「性能」和「功耗」放进同一个分母与分子里，直接对应终端用户能感知的两件事：回答得快不快 ，以及用起来烫不烫、掉电快不快。
相比 TOPS，它有三个明显优势：
- 贴近真实负载：通常在实际模型、实际上下文长度、实际散热条件下测量，反映可持续性能。
- 可横向比较：不同架构、不同工艺、不同精度的芯片，都能用同一把尺子衡量端侧 AI 的「经济性」。
- 牵引系统级优化：要提升这个数字，不能只靠堆 MAC 阵列，必须同时优化内存带宽、数据复用、调度策略和供电管理。
从指标口径的演进看，评价体系的变化路径如下：
2.3 从「算力竞赛」到「能效竞赛」的行业转向
当模型规模增长快于端侧功耗预算的增长时，能效就成了硬约束。行业话语的转变已经很明显：发布会不再只报 TOPS，而是开始强调「每瓦性能」「单位功耗 token 吞吐」「续航下的 AI 时长」。这背后是一个共识------端侧 AI 的瓶颈不是算不动，而是算不起。
3. 高通、联发科等厂商的端侧芯片路线
3.1 高通的思路：异构计算 + 内存与调度协同
高通的端侧 AI 路线可以概括为「不追求单点峰值，而是让合适的单元做合适的事」：
- 异构算力编排：CPU、GPU、NPU（Hexagon）分工协作，NPU 承担矩阵运算主力，GPU 处理并行度高的算子，CPU 负责控制流与轻量算子，避免单一单元成为功耗热点。
- 内存层级优化：通过更大的片上缓存、权重压缩与量化、KV Cache 管理，减少对 DRAM 的访问------因为访存往往是端侧推理的主要功耗来源。
- 软硬协同：配套的 AI 引擎与量化工具链，让模型在部署前就针对目标硬件做算子融合与精度选择，把「能效」提前设计进模型。
3.2 联发科的思路：能效优先 + 全栈调度
联发科的路线更强调「能效优先」与「全栈协同」：
- APU 与调度器深度结合：通过硬件调度单元动态分配算力，在低负载时压低频率与电压，在高负载时快速拉起，减少无效功耗。
- 面向生成式 AI 的专用加速：针对 Transformer 结构中的注意力与矩阵乘做专门优化，提升单位功耗的有效吞吐。
- 端云协同：把部分重负载任务卸载到云端，端侧专注低延迟、隐私敏感的推理，从系统层面降低端侧功耗压力。
3.3 路线对比与共同趋势
| 维度 | 高通 | 联发科 | 共同趋势 |
|---|---|---|---|
| 算力组织 | 异构多单元协同 | APU + 动态调度 | 从单点峰值转向系统能效 |
| 内存策略 | 片上缓存 + 量化压缩 | 访存优化 + 算子融合 | 降低 DRAM 访问功耗 |
| 软件栈 | AI 引擎 + 量化工具链 | 全栈调度 + 端云协同 | 软硬协同前置优化 |
| 指标口径 | 强调每瓦性能 | 强调能效与续航 | 逐步向每瓦 Token 数靠拢 |
可以看到，两家厂商虽然表述不同，但方向高度一致：把优化重心从「算力峰值」转移到「单位功耗的有效产出」。
两家厂商的路线差异与共同收敛点，可以用一张图概括：
4. 从被动响应到主动服务：算力需求的结构性变化
4.1 交互范式的迁移
传统端侧 AI 是「被动响应」：用户点一下、说一句，设备才动一下。而随着端侧大模型与智能体的成熟，设备开始走向「主动服务」------持续感知上下文、预测用户意图、在后台预取与预处理。
这种迁移带来的是算力需求的结构性变化：
- 从突发到常驻：被动响应是短时突发负载，主动服务是长时间低强度常驻负载，对能效的要求更高。
- 从单模态到多模态：语音、图像、传感器数据同时输入，算力需求从单点峰值转向持续吞吐。
- 从单次推理到连续推理：智能体需要多步规划与工具调用，token 生成是连续的，能效直接决定可用时长。
4.2 对芯片设计的具体要求
对应到芯片设计，至少有三点变化：
- 低功耗常驻能力：需要独立的低功耗感知子系统，让设备在「待命」状态下也能持续做轻量推理，而不唤醒主算力单元。
- 动态功耗管理：根据任务类型在「感知---理解---生成」不同阶段切换算力档位，避免全程满负荷。
- 内存与带宽的持续优化：常驻负载下，访存功耗占比更高，缓存命中率与数据复用成为能效关键。
5. 功耗---性能---成本的三角平衡
5.1 三角约束的本质
端侧芯片设计始终在一个三角中取舍：
- 功耗：受电池容量与散热能力约束，移动端尤其严苛。
- 性能：决定模型规模、上下文长度与响应速度的上限。
- 成本：包括芯片面积、先进工艺、内存容量，最终反映到整机售价。
三者不可能同时最优。提升性能往往要增加面积与功耗，控制成本又可能牺牲缓存与带宽。「每瓦 Token 数」正是这个三角的一个综合投影------它把性能与功耗绑定，而成本则决定了这个比值能以多高的性价比实现。
三角约束与每瓦 Token 数的关系可以这样理解：
5.2 常见的平衡策略
- 精度换能效：通过 INT8/INT4 量化、混合精度，在可接受的精度损失下大幅降低计算与访存开销。
- 稀疏与剪枝：利用模型稀疏性跳过无效计算，直接提升单位功耗的有效吞吐。
- 专用化加速：针对 Transformer 的注意力与矩阵乘设计专用数据通路，减少通用单元的冗余开销。
- 内存近计算：把计算推向数据所在位置，减少数据搬运带来的功耗。
- 分级算力：用大小核或分档 NPU 覆盖不同负载，避免「大马拉小车」。
5.3 一个简单的权衡示意
text
能效 ≈ 有效计算量 / (计算功耗 + 访存功耗 + 静态功耗)要提升这个比值，分子端靠算法与精度优化，分母端靠架构、内存与供电优化。任何单点优化都有天花板，真正的竞争力来自系统级的协同设计。
6. 结语：指标之变，本质是设计哲学之变
「每瓦 Token 数」取代 TOPS，表面看是评价口径的调整，实质是端侧 AI 设计哲学的重塑：从追求「能算多快」，转向追求「能算多久、算得多值」。
对芯片厂商而言，这意味着竞争焦点从峰值算力转向能效工程、软硬协同与系统调度；对开发者而言，这意味着模型部署要更早考虑目标硬件的能效特性；对用户而言，最终感知到的是更长的续航、更低的发热和更自然的主动服务。
端侧 AI 的下一场竞赛，比的不是谁的数字更大，而是谁能在每一瓦电里，挤出更多有价值的 token。