从 ASR+LLM+TTS 到 GPT‑Live：解读语音智能新范式

本文围绕视频《This is the new ChatGPT Voice, powered by GPT‑Live》展开，结合公开资料，梳理当前语音智能的主要技术路线、代表性模型和 GPT‑Live 的技术意义。

一、语音助手的真正难题，不是"能不能听懂"

过去几年，语音助手的能力提升通常被拆成三个指标：ASR 是否准确、LLM 是否聪明、TTS 是否自然。

但真正自然的对话还需要解决另外一个问题：什么时候该说话？

人类对话并不是严格的轮流发言。我们会停顿、犹豫、插话、抢话，也会在对方还没说完时通过"嗯""对""我明白"表达正在倾听。

传统语音助手往往采用如下链路：
#mermaid-svg-GDpBxOo6LX3MfeSK{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-GDpBxOo6LX3MfeSK .error-icon{fill:#552222;}#mermaid-svg-GDpBxOo6LX3MfeSK .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-GDpBxOo6LX3MfeSK .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-GDpBxOo6LX3MfeSK .marker{fill:#333333;stroke:#333333;}#mermaid-svg-GDpBxOo6LX3MfeSK .marker.cross{stroke:#333333;}#mermaid-svg-GDpBxOo6LX3MfeSK svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-GDpBxOo6LX3MfeSK p{margin:0;}#mermaid-svg-GDpBxOo6LX3MfeSK .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster-label text{fill:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster-label span{color:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster-label span p{background-color:transparent;}#mermaid-svg-GDpBxOo6LX3MfeSK .label text,#mermaid-svg-GDpBxOo6LX3MfeSK span{fill:#333;color:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK .node rect,#mermaid-svg-GDpBxOo6LX3MfeSK .node circle,#mermaid-svg-GDpBxOo6LX3MfeSK .node ellipse,#mermaid-svg-GDpBxOo6LX3MfeSK .node polygon,#mermaid-svg-GDpBxOo6LX3MfeSK .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-GDpBxOo6LX3MfeSK .rough-node .label text,#mermaid-svg-GDpBxOo6LX3MfeSK .node .label text,#mermaid-svg-GDpBxOo6LX3MfeSK .image-shape .label,#mermaid-svg-GDpBxOo6LX3MfeSK .icon-shape .label{text-anchor:middle;}#mermaid-svg-GDpBxOo6LX3MfeSK .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-GDpBxOo6LX3MfeSK .rough-node .label,#mermaid-svg-GDpBxOo6LX3MfeSK .node .label,#mermaid-svg-GDpBxOo6LX3MfeSK .image-shape .label,#mermaid-svg-GDpBxOo6LX3MfeSK .icon-shape .label{text-align:center;}#mermaid-svg-GDpBxOo6LX3MfeSK .node.clickable{cursor:pointer;}#mermaid-svg-GDpBxOo6LX3MfeSK .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-GDpBxOo6LX3MfeSK .arrowheadPath{fill:#333333;}#mermaid-svg-GDpBxOo6LX3MfeSK .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-GDpBxOo6LX3MfeSK .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-GDpBxOo6LX3MfeSK .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-GDpBxOo6LX3MfeSK .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-GDpBxOo6LX3MfeSK .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-GDpBxOo6LX3MfeSK .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster text{fill:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK .cluster span{color:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-GDpBxOo6LX3MfeSK .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-GDpBxOo6LX3MfeSK rect.text{fill:none;stroke-width:0;}#mermaid-svg-GDpBxOo6LX3MfeSK .icon-shape,#mermaid-svg-GDpBxOo6LX3MfeSK .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-GDpBxOo6LX3MfeSK .icon-shape p,#mermaid-svg-GDpBxOo6LX3MfeSK .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-GDpBxOo6LX3MfeSK .icon-shape .label rect,#mermaid-svg-GDpBxOo6LX3MfeSK .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-GDpBxOo6LX3MfeSK .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-GDpBxOo6LX3MfeSK .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-GDpBxOo6LX3MfeSK :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 用户语音
ASR 语音转文字
LLM 文本推理
TTS 文本转语音
播放回答

这条链路工程上清晰、容易监控，也便于复用现有文本 Agent，但它天然是串行的：需要先判断用户说完，再转写，再推理，最后合成语音。

因此它容易出现三类体验问题：

• 回答开始得慢；
• 用户打断时停止不够及时；
• 语气、停顿、情绪等信息在"语音→文字"过程中被损失。

二、语音智能的三条技术路线

1. Cascaded：ASR + LLM + TTS

这是目前最常见、最容易落地的方案。

语音 → ASR → 文本 LLM → TTS → 语音

优点是组件成熟、可插拔、可观测性好。例如企业客服可以单独替换 ASR、路由模型、业务 Agent 或 TTS。

缺点是延迟和交互自然性受限，而且文本是中间媒介，无法完整保留语音中的非语言信息。

2. Speech-to-Speech：语音到语音

Speech-to-Speech 模型直接把语音作为输入和输出的核心模态：

输入音频流 → 语音模型 → 输出音频流

这类模型可以直接学习声音、语气、停顿、情绪和对话内容之间的关系。它不代表模型完全没有文本表示，而是文本不再是唯一的、必须经过的中间接口。

3. Full-duplex：全双工实时对话

Full-duplex 的重点不是"输入输出都是语音"，而是：
AI 可以在说话的同时继续听，用户也可以在 AI 说话时插入新的内容。
实时语音模型 用户 实时语音模型 用户 #mermaid-svg-i4jlMCMULd3B0hUV{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-i4jlMCMULd3B0hUV .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-i4jlMCMULd3B0hUV .error-icon{fill:#552222;}#mermaid-svg-i4jlMCMULd3B0hUV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-i4jlMCMULd3B0hUV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-i4jlMCMULd3B0hUV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-i4jlMCMULd3B0hUV .marker.cross{stroke:#333333;}#mermaid-svg-i4jlMCMULd3B0hUV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-i4jlMCMULd3B0hUV p{margin:0;}#mermaid-svg-i4jlMCMULd3B0hUV .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-i4jlMCMULd3B0hUV text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-i4jlMCMULd3B0hUV .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-i4jlMCMULd3B0hUV .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-i4jlMCMULd3B0hUV .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-i4jlMCMULd3B0hUV .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-i4jlMCMULd3B0hUV #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-i4jlMCMULd3B0hUV .sequenceNumber{fill:white;}#mermaid-svg-i4jlMCMULd3B0hUV #sequencenumber{fill:#333;}#mermaid-svg-i4jlMCMULd3B0hUV #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-i4jlMCMULd3B0hUV .messageText{fill:#333;stroke:none;}#mermaid-svg-i4jlMCMULd3B0hUV .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-i4jlMCMULd3B0hUV .labelText,#mermaid-svg-i4jlMCMULd3B0hUV .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-i4jlMCMULd3B0hUV .loopText,#mermaid-svg-i4jlMCMULd3B0hUV .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-i4jlMCMULd3B0hUV .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-i4jlMCMULd3B0hUV .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-i4jlMCMULd3B0hUV .noteText,#mermaid-svg-i4jlMCMULd3B0hUV .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-i4jlMCMULd3B0hUV .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-i4jlMCMULd3B0hUV .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-i4jlMCMULd3B0hUV .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-i4jlMCMULd3B0hUV .actorPopupMenu{position:absolute;}#mermaid-svg-i4jlMCMULd3B0hUV .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-i4jlMCMULd3B0hUV .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-i4jlMCMULd3B0hUV .actor-man circle,#mermaid-svg-i4jlMCMULd3B0hUV line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-i4jlMCMULd3B0hUV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 持续输入语音 边听边输出语音 插话或打断 停止当前输出并重新响应

它解决的是对话节奏问题，而不仅是语音识别或语音合成问题。

三、GPT‑Live 的核心：把"说话"和"深度思考"拆开

根据 OpenAI 的公开介绍，GPT‑Live 是 ChatGPT Voice 的实时语音模型，采用 full-duplex 架构，可以同时听和说；当任务需要搜索、复杂推理或工具调用时，再把工作委托给后台的 frontier model，发布时使用 GPT‑5.5。OpenAI 对该系统的工程拆解还强调了连续推理、状态化会话、动态上下文管理、异步委托以及面向低延迟的媒体传输。

因此可以把它理解为两条并行路径：
#mermaid-svg-XkWQj45oE7wamDTp{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-XkWQj45oE7wamDTp .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-XkWQj45oE7wamDTp .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-XkWQj45oE7wamDTp .error-icon{fill:#552222;}#mermaid-svg-XkWQj45oE7wamDTp .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-XkWQj45oE7wamDTp .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-XkWQj45oE7wamDTp .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-XkWQj45oE7wamDTp .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-XkWQj45oE7wamDTp .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-XkWQj45oE7wamDTp .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-XkWQj45oE7wamDTp .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-XkWQj45oE7wamDTp .marker{fill:#333333;stroke:#333333;}#mermaid-svg-XkWQj45oE7wamDTp .marker.cross{stroke:#333333;}#mermaid-svg-XkWQj45oE7wamDTp svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-XkWQj45oE7wamDTp p{margin:0;}#mermaid-svg-XkWQj45oE7wamDTp .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-XkWQj45oE7wamDTp .cluster-label text{fill:#333;}#mermaid-svg-XkWQj45oE7wamDTp .cluster-label span{color:#333;}#mermaid-svg-XkWQj45oE7wamDTp .cluster-label span p{background-color:transparent;}#mermaid-svg-XkWQj45oE7wamDTp .label text,#mermaid-svg-XkWQj45oE7wamDTp span{fill:#333;color:#333;}#mermaid-svg-XkWQj45oE7wamDTp .node rect,#mermaid-svg-XkWQj45oE7wamDTp .node circle,#mermaid-svg-XkWQj45oE7wamDTp .node ellipse,#mermaid-svg-XkWQj45oE7wamDTp .node polygon,#mermaid-svg-XkWQj45oE7wamDTp .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-XkWQj45oE7wamDTp .rough-node .label text,#mermaid-svg-XkWQj45oE7wamDTp .node .label text,#mermaid-svg-XkWQj45oE7wamDTp .image-shape .label,#mermaid-svg-XkWQj45oE7wamDTp .icon-shape .label{text-anchor:middle;}#mermaid-svg-XkWQj45oE7wamDTp .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-XkWQj45oE7wamDTp .rough-node .label,#mermaid-svg-XkWQj45oE7wamDTp .node .label,#mermaid-svg-XkWQj45oE7wamDTp .image-shape .label,#mermaid-svg-XkWQj45oE7wamDTp .icon-shape .label{text-align:center;}#mermaid-svg-XkWQj45oE7wamDTp .node.clickable{cursor:pointer;}#mermaid-svg-XkWQj45oE7wamDTp .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-XkWQj45oE7wamDTp .arrowheadPath{fill:#333333;}#mermaid-svg-XkWQj45oE7wamDTp .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-XkWQj45oE7wamDTp .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-XkWQj45oE7wamDTp .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-XkWQj45oE7wamDTp .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-XkWQj45oE7wamDTp .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-XkWQj45oE7wamDTp .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-XkWQj45oE7wamDTp .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-XkWQj45oE7wamDTp .cluster text{fill:#333;}#mermaid-svg-XkWQj45oE7wamDTp .cluster span{color:#333;}#mermaid-svg-XkWQj45oE7wamDTp div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-XkWQj45oE7wamDTp .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-XkWQj45oE7wamDTp rect.text{fill:none;stroke-width:0;}#mermaid-svg-XkWQj45oE7wamDTp .icon-shape,#mermaid-svg-XkWQj45oE7wamDTp .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-XkWQj45oE7wamDTp .icon-shape p,#mermaid-svg-XkWQj45oE7wamDTp .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-XkWQj45oE7wamDTp .icon-shape .label rect,#mermaid-svg-XkWQj45oE7wamDTp .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-XkWQj45oE7wamDTp .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-XkWQj45oE7wamDTp .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-XkWQj45oE7wamDTp :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 否
是
连续语音输入
GPT‑Live 实时交互层
即时回应、打断、停顿、接话
是否需要复杂任务？
后台调用 GPT‑5.5 / 搜索 / 工具
结果返回实时语音会话

这是一种非常重要的系统设计：

• 实时模型负责保持交流不断流；
• 强推理模型负责复杂问题和工具任务；
• 异步委托避免搜索或长推理阻塞语音对话。

换句话说，GPT‑Live 不一定是一个模型独自完成所有工作，而是一个以实时语音模型为核心、能够调度后台智能的语音系统。

四、公开模型中，谁最接近 GPT‑Live？

模型	语音路线	Full-duplex 程度	主要特点
Moshi	Speech-to-Speech	高	开源全双工语音对话框架，支持并行建模用户和 AI 的音频流
Qwen2.5-Omni	Omni + Talker	中	文本、图片、视频、音频输入，流式生成文本和语音
Qwen3-Omni	原生 Omni	中高	面向实时多模态交互的新一代方案
MiniCPM-o 2.6	端到端多模态	中	中文实时语音、声音配置、端侧部署能力较强
GLM‑4‑Voice	端到端语音	中	中英文语音对话，支持情绪、语速、方言和音色控制

Moshi：公开方案中最值得研究的 Full-duplex 样板

Moshi 将 spoken dialogue 建模为 speech-to-speech generation，并使用神经音频 codec 把音频压缩成可被语言模型预测的离散 audio tokens。

它的关键思想是同时建模：

用户音频流 + AI 音频流 + 对话上下文

这样模型不必等待一个明确的"用户回合结束"信号，可以处理重叠说话、插话和即时响应。Moshi 官方公开的理论延迟约为 160ms，实际约 200ms。

Qwen‑Omni：更偏多模态实时平台

Qwen2.5‑Omni 采用 Thinker/Talker 思路：Thinker 负责多模态理解和推理，Talker 负责实时语音生成。

它的优势是能力覆盖面广：可以同时处理文本、图片、视频和音频，并输出文本与自然语音。对于需要视觉、语音和文本协同的应用，它比纯语音模型更有平台价值。

MiniCPM‑o：更适合本地实验

MiniCPM‑o 2.6 面向端侧和轻量化部署，支持中文和英文实时语音对话，并提供声音配置、情绪控制和语音克隆等能力。

如果目标是搭建一个本地语音助手、验证实时流式推理或研究端侧部署，它是比较实际的起点。

GLM‑4‑Voice：中文语音能力的重要开源参考

GLM‑4‑Voice 的思路是先产生高质量文本回复，再以文本为参照生成语音 token，同时通过流式方式降低首包延迟。

它的优势是中文语音表现和声音控制能力比较突出，但整体交互范式仍然更接近"流式的语音输入输出"，与 GPT‑Live 追求的连续全双工对话还有差异。

五、GPT‑Live 的 SOTA 到底体现在哪里？

评价 GPT‑Live，不能只看某一个模型榜单，而要看完整系统的综合指标。

1. 交互延迟

包括：

• 首音频延迟；
• 用户停顿后的响应时间；
• 打断后的停止时间；
• 工具结果返回后的恢复时间。

2. 对话时机

模型是否能正确判断：

• 用户是否说完；
• 用户只是短暂停顿还是结束表达；
• 什么时候应该简短回应；
• 什么时候应该保持沉默。

3. 打断和恢复能力

真正自然的语音系统不只是"能被打断"，还要能：

1. 立即停止输出；
2. 识别新的用户意图；
3. 保留必要上下文；
4. 避免重复已经说过的内容。

4. 复杂任务能力

语音模型本身可能擅长快速对话，但搜索、代码、长文档和复杂规划仍需要更强的推理模型。因此，实时语音模型能否完成高质量的后台委托，是当前系统竞争力的重要部分。

5. 语音自然度

不能只评价音色是否像真人，还要评价：

• 重音是否符合语义；
• 情绪是否和上下文一致；
• 语速是否动态变化；
• 停顿是否自然；
• 被打断后是否产生机械残句。

六、从平台和网关角度，架构重点已经变化

传统语音系统主要监控 ASR、LLM 和 TTS 三个服务的耗时。

而实时全双工语音系统需要监控一条持续的媒体链路：
#mermaid-svg-ynn3123BSUTCxTRk{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ynn3123BSUTCxTRk .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ynn3123BSUTCxTRk .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ynn3123BSUTCxTRk .error-icon{fill:#552222;}#mermaid-svg-ynn3123BSUTCxTRk .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ynn3123BSUTCxTRk .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ynn3123BSUTCxTRk .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ynn3123BSUTCxTRk .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ynn3123BSUTCxTRk .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ynn3123BSUTCxTRk .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ynn3123BSUTCxTRk .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ynn3123BSUTCxTRk .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ynn3123BSUTCxTRk .marker.cross{stroke:#333333;}#mermaid-svg-ynn3123BSUTCxTRk svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ynn3123BSUTCxTRk p{margin:0;}#mermaid-svg-ynn3123BSUTCxTRk .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ynn3123BSUTCxTRk .cluster-label text{fill:#333;}#mermaid-svg-ynn3123BSUTCxTRk .cluster-label span{color:#333;}#mermaid-svg-ynn3123BSUTCxTRk .cluster-label span p{background-color:transparent;}#mermaid-svg-ynn3123BSUTCxTRk .label text,#mermaid-svg-ynn3123BSUTCxTRk span{fill:#333;color:#333;}#mermaid-svg-ynn3123BSUTCxTRk .node rect,#mermaid-svg-ynn3123BSUTCxTRk .node circle,#mermaid-svg-ynn3123BSUTCxTRk .node ellipse,#mermaid-svg-ynn3123BSUTCxTRk .node polygon,#mermaid-svg-ynn3123BSUTCxTRk .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ynn3123BSUTCxTRk .rough-node .label text,#mermaid-svg-ynn3123BSUTCxTRk .node .label text,#mermaid-svg-ynn3123BSUTCxTRk .image-shape .label,#mermaid-svg-ynn3123BSUTCxTRk .icon-shape .label{text-anchor:middle;}#mermaid-svg-ynn3123BSUTCxTRk .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ynn3123BSUTCxTRk .rough-node .label,#mermaid-svg-ynn3123BSUTCxTRk .node .label,#mermaid-svg-ynn3123BSUTCxTRk .image-shape .label,#mermaid-svg-ynn3123BSUTCxTRk .icon-shape .label{text-align:center;}#mermaid-svg-ynn3123BSUTCxTRk .node.clickable{cursor:pointer;}#mermaid-svg-ynn3123BSUTCxTRk .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-ynn3123BSUTCxTRk .arrowheadPath{fill:#333333;}#mermaid-svg-ynn3123BSUTCxTRk .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ynn3123BSUTCxTRk .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ynn3123BSUTCxTRk .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ynn3123BSUTCxTRk .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-ynn3123BSUTCxTRk .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ynn3123BSUTCxTRk .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-ynn3123BSUTCxTRk .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ynn3123BSUTCxTRk .cluster text{fill:#333;}#mermaid-svg-ynn3123BSUTCxTRk .cluster span{color:#333;}#mermaid-svg-ynn3123BSUTCxTRk div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ynn3123BSUTCxTRk .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ynn3123BSUTCxTRk rect.text{fill:none;stroke-width:0;}#mermaid-svg-ynn3123BSUTCxTRk .icon-shape,#mermaid-svg-ynn3123BSUTCxTRk .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ynn3123BSUTCxTRk .icon-shape p,#mermaid-svg-ynn3123BSUTCxTRk .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-ynn3123BSUTCxTRk .icon-shape .label rect,#mermaid-svg-ynn3123BSUTCxTRk .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ynn3123BSUTCxTRk .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ynn3123BSUTCxTRk .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ynn3123BSUTCxTRk :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 音频帧到达率
实时推理稳定性
输出音频连续性
打断与恢复
后台委托质量

建议新增以下指标：

指标	含义
First Audio Latency	用户开始说话到 AI 首段声音的时间
Interruption Stop Latency	用户打断到 AI 停止输出的时间
Turn Boundary Error	错误抢答或错误等待的比例
Overlap Handling Rate	对重叠说话和插话的正确处理比例
Audio Continuity	音频是否出现卡顿、断裂和重复
Delegation Success Rate	后台搜索、推理和工具委托的成功率
Task Completion Rate	语音任务最终完成比例

对于你的 Token 优化和模型路由平台，还可以进一步关注：

• 实时语音路径与后台推理路径是否使用不同模型池；
• 语音上下文是否需要单独压缩；
• 工具调用和搜索结果是否进入后续语音上下文；
• 实时会话是否适合做精确缓存；
• 长会话中哪些音频应转写、哪些只保留摘要；
• 模型路由是否需要同时优化质量、延迟和连接占用。

七、结论：下一代语音智能不是"更好的 TTS"

GPT‑Live 所代表的方向，可以概括为：

从"语音请求处理"走向"持续的实时交互系统"。

它的技术突破并不只在于声音更像人，而在于同时解决了四个问题：

1. 连续听说；
2. 自然打断；
3. 低延迟响应；
4. 后台复杂推理不阻塞对话。

公开模型已经开始覆盖其中一部分能力：Moshi 更接近全双工研究样板，Qwen‑Omni 更接近多模态平台，MiniCPM‑o 更适合轻量本地部署，GLM‑4‑Voice 更适合中文语音控制和情感表达。

但真正达到 GPT‑Live 的产品体验，还需要模型、实时传输、会话状态、工具调用、异步调度和安全治理共同完成。

未来语音智能的核心竞争力，可能不再是"谁的 ASR 识别率更高"，而是：

谁能让用户感觉自己是在和一个持续在线、懂得倾听、能够思考、可以协同完成任务的智能伙伴交流。

参考资料

• OpenAI：Introducing GPT‑Live
• OpenAI：GPT‑Live 实时语音交互系统（中文）
• OpenAI：How we built a realtime system for responsive voice AI
• Kyutai：Moshi GitHub
• Qwen：Qwen2.5‑Omni GitHub
• Qwen：Qwen3‑Omni GitHub
• OpenBMB：MiniCPM‑o
• 智谱：GLM‑4‑Voice GitHub