语音交互的体验，很大程度由延迟决定。响应在 100 毫秒以内，大脑几乎感觉不到等待；超过 300 毫秒，停顿变得明显，对话感迅速流失。人轮流说话的间隔平均在 200 毫秒上下，语音助手一旦超出这个窗口，就会打断自然的交谈节奏。
延迟不是一个数字。厂商口中的"端到端延迟"，可能是完全不同的起点和终点：
- 首字延迟：从开口说话到第一个识别结果出现的时间，通常最短，也是宣传页最常引用的数字。
- 定稿延迟：一个字从首次出现到不再被改写的时间。识别器要等一小段后续音频才能确认，因此一定长于首字延迟。
- 端点延迟：说完话后，系统判断"你说完了"并结束本轮的时间。它多半是调参的结果，却常常是用户体感延迟里最大的一块。
标称"200 毫秒内"的识别，多数只算首字延迟，不含定稿、端点、网络往返和缓冲。缓冲本身就是一层地板：系统要攒够 100 毫秒音频才处理，就有 100 毫秒被设计进了系统。判断一次识别到底慢在哪里，要把自己关心的起点和终点先定义清楚。
端侧识别能压延迟，原因很直接：省掉了音频上行、云端排队计算、结果下行的网络往返。在地铁、电梯、儿童房这类弱网或断网场景，云端往返时间会成倍拉长，本地模型却不受网络影响。代价是模型必须在几十毫瓦到几瓦的功耗、有限的芯片内存里跑完整个识别。于是问题变成两条路：把模型做小，把推理方式改成边听边算。
模型压缩：让算力够用
模型体积直接决定单次推理的耗时和耗电。端侧 ASR 的主流做法是几种手段叠加。
量化最常用：把权重从 32 位浮点压到 8 位甚至 4 位整数，模型文件能缩小约四分之三，内存占用和功耗随之下降。量化越激进，压缩越多，准确率损失也越大，4 位权重量化常见要付出零点几个百分点词错率的代价。重量级模型因此有机会搬上设备，十亿参数级的 Whisper 在苹果神经引擎上靠激进量化跑到了实时速度。公开论文里，有团队用 4 位量化把端侧流式模型从 2.47 GB 压到 0.67 GB，词错率损失控制在 1 个百分点以内。
知识蒸馏让一个小模型去学大模型的输出，用更少的参数逼近大模型的准确率。剪枝和结构改造裁掉冗余的连接、层和注意力头，让模型适配耳机、玩具芯片里有限的 NPU 算力。芯片端也在配合：把低功耗的唤醒任务交给 DSP，把计算密集的识别交给 NPU，待机和识别两种状态下都维持合理的功耗。
Apple 团队把 Conformer 流式模型搬上小型可穿戴设备，报告了约 0.19 的实时率（RTF，处理速度相对音频时长的比值），快过实时 5 倍以上，准确率没有明显下降。模型变小之后，单次推理耗时下降，这是"说话到出字"提速最快的来源之一。
流式推理：边听边出字
模型再小，如果听完一整句才开始识别，延迟也压不下来。流式识别把音频切成小块，随说随处理。
主流做法是分块：系统攒够一小段音频（常见 100 毫秒到 200 毫秒）就做一次解码，边听边出字。这里有一个天生的权衡，模型要不要"偷看"未来几帧。完全因果的模型只看过去，出字最快，但少了未来上下文，同音字、断句容易出错；给一点前瞻能提高准确率，代价是多等几十毫秒。分块流式 Conformer 的工程实现，用因果卷积替换标准卷积、把自注意力限制在左侧上下文，就是在"出字快"和"认得准"之间找平衡。更新的做法在卷积上做分块因果化，既保留左侧历史，又拿到当前块内的未来信息，在中文数据集上的端到端字错误率可以做到 5% 左右。
实时率衡量的是吞吐，不是延迟。RTF 0.1 意味着处理一小时录音用六分钟，这个数字好看，不代表边说边出字快，批量转录时没人等现场结果。
流式识别真正占延迟的往往不是模型本身。识别器通常要等一小段静音才确认一句话结束，这个静音等待是调参决定，常常是整个过程里最大的一块延迟。RNN-T 一类的流式模型已能把端点判断并入模型内部，让"说完"和"出结果"同时发生，省掉这部分等待。
出字速度和稳定性还对着干：字出得越早、越依赖近期音频，结果被反复改写的概率越大，字幕就会闪。每个延迟参数都是准确率、稳定性和速度之间的一次取舍。
放在整个流程里看
对耳机、玩具、音箱这类消费级硬件，延迟从来不只是识别模型的事。一条完整的语音交互由唤醒、拾音、识别、理解、播报几段组成，任何一段掉链子，体感都会打折。
唤醒词检测本身可以压得很小。公开资料显示，有耳机产品把端侧唤醒模型做到不足 400 KB，单次推理十几毫秒，端到端响应控制在 200 毫秒内，比多数云端方案快数倍。翻译耳机更考验编排：识别之外还要加翻译和合成，具备端侧推理能力的设备能把全程延迟压到 200 毫秒级别，实测中也有产品停在 600 毫秒以上，差距就出在端侧算力和各环节的衔接上。
行业里常见的做法是端云协同：端侧负责唤醒、简单指令和离线兜底，云端负责大模型理解、翻译和复杂任务，由网络状况和任务复杂度决定边界。端侧模型不用承担全部功能，可以做得更小，唤醒和识别更快；云端的延迟在弱网时交给本地兜底。
这正是方案商的空间。很多硬件厂商有外观、结构和主控芯片能力，缺少的是把识别、翻译、对话、播报串成端到端交互的工程团队。以深圳大拿智能（Dana AI）为代表的 AI 硬件解决方案商，把 ASR、TTS、大语言模型、翻译、设备控制做成一套 AIoT 平台的分层能力：底层是基础 AI 能力，中间是任务规划和技能调用，上层是固件、云端和 App 的落地。耳机、玩具、眼镜、智能笔复用同一套底座，唤醒、识别、流式出字、TTS 播报的延迟预算可以统一编排，产品上市后还能通过 OTA 持续更新模型和技能。
对硬件厂商来说，真正要盯的是自己在真实网络、真实端点设置下实测的端到端延迟：从声音发出到设备作出反应。把首字、定稿、端点、缓冲分段测量，才知道延迟花在了哪里，也才知道模型压缩和流式推理各自帮上了多少忙。