【VLM】全双工Full-Duplex多模态交互（李沐）

note

核心目标：把"轮次式语音助手"升级成真正的全双工实时多模态 Agent。不再等用户一句话说完再处理，而是持续听、持续看、持续思考、持续输出，并且能在交互中并行调工具。
架构核心：端到端多模态 + 160ms 时间窗。去掉传统 VAD→ASR→LLM→TTS 的长串行链路，音频/视频直接进入统一主干；系统每 160ms 接收新输入，同时预测下一窗口输出，从 turn-based 变成 continuous-time policy。
交互能力不只是"说什么"，更是"什么时候说、什么时候不说"。每个窗口都可以输出语音、静音、附和，用户插话后也能立刻调整；因此 turn-taking、打断、等待这些都变成模型要学习的策略。
Thinking 和 Tool Calling 也被流式化。复杂推理可以跨多个 160ms 窗口继续，工具调用异步在后台执行，结果分批回流；前端 45B MoE 负责大部分实时交互，只有难题才调用后台更强模型。
训练本质是"实时交互策略学习"。先做大规模音视频 Mid-training，再用 GRPO 学"何时开口/等待/调工具"等行为，最后用多个专项 teacher 做同源蒸馏，把对话节奏、工具能力、实时交互融合进一个 45B MoE。

本质突破：把 ASR 的解码端、TTS 的文字处理端和中间大模型主干合而为一，输入端只留语音与视觉编码器，输出端只留音频与视频解码器，全程不再显式产出文字。
省掉的是中间层：文本大模型本来就把输入 token 转成向量再交给主干，语音和画面经编码器后同样能以向量形式直接进入主干，算完再交给另一头的解码器生成声音和表情。
保住的是副信息：文字化会丢掉情绪、旁人、噪音、年龄和口音，端到端让输入听得见这些、输出也能用声学信息控制语气和节奏。
代价是延迟而非端到端：分段式 ASR→LLM→TTS 串起来跑延迟约 1.5--2 秒，端到端把网络开销也算进去压到 0.7--0.9 秒，但 VAD 仍在，系统依旧按一问一答的轮次工作。

160毫秒切片：不再按句子切轮次，模型每个窗口同时接收语音、画面或工具返回结果，并预测下一个窗口的输出；用户当下听到的那小段声音，其实是上一个窗口提前生成好的。
输出可以是静音：用户连续说话时模型连续几个窗口输出静音保持安静，攒够了判断就接话，中途插话则在新窗口立刻调整、让后面的窗口停下声音。
把思考也塞进窗口：思考 token 可以分段跨窗口续写，工具调用在听一半时就发起、后台异步跑，长结果分批回填，前台模型自己继续陪聊。
前端必须自己会想：对比对象把思考和工具全丢给后台大模型，用户每次都要干等十几秒或听套话；Higgs 的原则是前端 45B MoE 自己解决绝大部分任务，只在真搞不定时才呼叫后台。

训练三步走：先约 2 万亿 token 的 Mid-training 让语音视频成为模型「母语」，再上 GRPO 强化学习练出接话时机，最后用多老师同源蒸馏把多个专长模型教回同一个学生。
蒸馏的成立条件：同一基底分别强化再在线蒸馏才有效，老师学生差别太大学不会；蒸馏后还在带真实延迟、抢话和背景噪音的模拟环境里做一轮自我迭代。

Token 预算：音频输入每窗口 1 个 token（6.25 tok/s）、输出 2 个（12.5 tok/s），视频每 6 个窗口取一帧，人脸输出每窗口 2 个 latent 由解码器还原，一分钟音视频约 2.6K tokens。
只留5分钟原声：超过 5 分钟的完整多模态上下文约 13K--25K tokens，更早内容全部压成文字，换声换脸则是推理时直接给解码器参考图和声纹、不用重训 45B 主模型。
45B 打赢 276B：Big Bench Audio 上 Higgs 45B 拿 98.9 分，对比模型关掉后台 Agent 后从 96.5 掉到 75.7，说明现阶段架构设计比单纯堆参数更关键。
方向仍很早期：数据、时间切片方式和前端独立思考对结果影响很大，而且「聊 1 小时成本不超过人工时薪十分之一」这条经济性约束，比跑分更决定这个方向能不能落地。