最近 Hacker News 上一篇文章引起了我的注意------一个开发者用一天时间、大约 100 美元 API 费用，从零搭建了一个端到端延迟低于 500ms 的语音 Agent，而且性能比商业平台 Vapi 快了 2 倍。
这不是一个玩具 demo，而是一个可以投入生产的语音交互系统。
语音 Agent 为什么难
和文本聊天不同，语音对话没有明确的"发送"按钮。人说话会停顿、会犹豫、会中途打断，系统必须实时判断：用户说完了吗？
这就是所谓的 turn-taking 问题，也是语音 Agent 最核心的难点。
整个流水线包含三个环节：
- STT（语音转文字）：把用户的语音实时转写
- LLM（大模型推理）：理解意图并生成回复
- TTS（文字转语音）：把回复转成自然的语音播放
每个环节都有延迟，叠加起来很容易超过 1 秒。而人类对话中，正常的响应间隔只有 200-300ms。
关键优化：流式串联 + 地理位置
核心思路是 流式处理（streaming）。每个环节产出一小段就立即传给下一环节。
- STT 用 Deepgram：支持实时流式转写，延迟极低
- LLM 用 Claude/GPT 的 streaming API：token 级别的流式输出
- TTS 用 ElevenLabs 或 Cartesia：支持流式合成
三者并行流动，端到端延迟从秒级压缩到了 400ms 左右。
另一个容易被忽视的因素是 地理位置。API 服务的服务器分布在不同区域，把部署位置和 API 服务器放在同一区域，延迟立刻下降。
开源方案 vs 商业平台
自己搭建的好处：
- 延迟可控：可以针对场景精细调优
- 模型可换：STT、LLM、TTS 各环节独立选型
- 成本透明：清楚每个 API 调用花了多少钱
代价：要处理中断检测、静音判断、错误恢复、并发管理等工程问题。
语音 Agent 的下一步
语音交互正在从"语音助手"进化到"语音 Agent"。区别在于：助手只回答问题，Agent 能执行任务。
这需要的不只是低延迟，还有可靠的 function calling、上下文管理和错误处理。目前的语音 Agent 还在解决"听清楚、说流利"的问题，但"做对事"才是更大的挑战。
写在最后
语音 Agent 的技术栈正在快速成熟。一个人、一天、100 美元就能搭出接近商业水准的系统，这在一年前还不可想象。
对于想入局语音 AI 的开发者，现在是一个很好的时机：基础组件已经足够好，差异化竞争的空间还很大。
🚀 OfoxAI（ofox.ai）聚合多个主流 AI 模型，一个账号就能对比 Claude、GPT、Gemini 的表现。