Genie 4新增原生音频,实时世界模型加入声音生成

DeepMind发布了新一代世界模型Genie 4。相比此前版本,这次最大的变化是加入了原生音频生成能力,官方称其为"DeepMind首个原生生成音频的实时世界模型"。

音频生成是怎么加进去的

世界模型(world model,指能模拟环境变化并预测后续状态的AI模型)此前主要生成画面,声音通常靠后期叠加或单独处理。Genie 4的做法不同,官方博客写道,它"原生支持多模态,能够在生成世界画面的同时,同步生成类似音频的音乐、环境噪音和交互式对话"。也就是说,画面、音乐、环境声和对话在同一个生成过程里产出,不是分开渲染再合成。

这套能力建立在Gemini系列模型基础上。官方表示,Genie 4模型"整合并扩展了Gemini家族的能力"。具体分工上,Gemini Omni负责把模拟结果锚定到真实世界的外观和行为上;Gemini 3.8 Flash则在交互循环中充当实时引导代理(agent,指能自主执行任务的AI程序),实时调整模拟过程中的内容生成。

官方博客给出的一个演示场景是:用户骑着一条巨大的黑龙,以每小时140公里的速度穿越一条多山的龙族竞速赛道。这类场景展示了实时生成画面与配套音效同步输出的效果。

开放范围和获取方式

目前Genie 4已经开始作为研究预览版,向受信任的测试者推出。面向消费者和开发者的发布会分批进行,第一批是Google AI Ultra订阅用户(通过Project Genie),以及Gemini API和Google AI Studio的早期访问合作伙伴。

普通用户和多数开发者目前还接触不到这个模型,开放节奏和具体功能边界官方没有给出更详细的时间表。

适用人群与待观察问题

这次更新主要值得关注的是两类人:一是做游戏、影视预演(previz)或模拟训练内容的开发者,他们关心的是画面与音效同步生成能否减少后期合成的工作量;二是关注AI生成内容质量的研究者,关心原生音频生成在真实感和一致性上能到什么水平。

官方博客没有公开具体的性能对比数据或与前代Genie模型的量化差异,音频生成的延迟、音质和长时程稳定性目前还缺乏第三方测试结果,这些留待后续观察。

相关推荐
吴名氏.3 小时前
Java转AI Agent教程(第十二周)检索与切分
java·开发语言·人工智能·ai·ai agent
效率工作实验室4 小时前
企业级AI Agent平台评测:核心指标、能力对比与选型路径
ai·企业级ai·agent选型·agent平台评测·agent平台对比
不吃紫菜16 小时前
LangGraph 体系实战(下):中断恢复、流式、子图与设计模式
ai
Dev_XH20 小时前
【成品设计】基于CH32H417的CH32H417AIOT家庭微电网
单片机·嵌入式硬件·物联网·ai
我才是银古21 小时前
我把DSH当工位用了64天
ai·deepseek·deepseek-harness
菩提小狗1 天前
每日极客日报 · 2026年11月09日
ai·开源·极客日报·it热点·技术资讯
GISer_Jing1 天前
Agent相关岗位时收集的各类技术面试题
后端·ai·langchain
观察世界1 天前
字节 Seed 发布 Seedream 5.5:同一张图可编辑 100 轮,严重文字损坏率降至 0.4%
科技·ai
DQQzero1 天前
0.16 元/秒的短剧流水线:即梦短剧工作室把 AI 视频生产改成了什么样
人工智能·ai·aigc·视频生成