DeepMind基础世界模型Genie:一张草图即为一个世界,通用AI智能体要来了?

一张草图即为一个世界!Google DeepMind 推出了首个以无监督方式从未经标注的互联网视频中训练而来的生成交互环境模型------Genie。该模型可以通过文本、合成图像、照片甚至草图来生成无数种可玩(动作可控)的虚拟世界。















据介绍,Genie 它由一个时空视频 tokenizer、一个自回归动力学模型和一个简单且可扩展的潜在行动模型组成,具有 11 B 参数,可以用它从未见过的图像(如现实世界的照片或草图)进行提示,使人们能够与自己想象中的虚拟世界进行互动------本质上就是充当一个基础世界模型。

另外,Genie 的独特之处在于它可以完全通过网络视频学习精细控制。这是一项挑战,因为互联网视频通常没有关于正在执行的动作的标签,甚至没有关于应该控制图像哪个部分的标签。值得注意的是,Genie 不仅能了解观察对象的哪些部分通常是可控的,还能推断出在生成环境中一致的各种潜在动作。

研究团队表示,Genie 的出现,有助于加速通用智能体的到来。以往的研究表明,游戏环境可以成为开发智能体的有效试验平台,但往往受到可用游戏数量的限制。有了 Genie,未来的智能体就可以在永无止境的新生成世界中接受训练。

此外,Genie 被认为是一种通用方法,可应用于多个领域,无需任何额外的领域知识。

论文链接:https://arxiv.org/abs/2402.15391

项目链接:https://sites.google.com/view/genie-2024/

相关推荐
sssammmm44 分钟前
AI入门学习--如何写好prompt?
人工智能·学习·prompt
阿群今天学习了吗1 小时前
“鱼书”深度学习进阶笔记(3)第四章
人工智能·笔记·python·深度学习·算法
神齐的小马1 小时前
机器学习 [白板推导](十)[马尔可夫链蒙特卡洛法]
人工智能·机器学习·概率论
白-胖-子1 小时前
深度剖析主流AI大模型的编程语言与架构选择:行业实践与技术细节解读
人工智能·架构
AI模块工坊1 小时前
IEEE 2025 | 重磅开源!SLAM框架用“法向量+LRU缓存”,将三维重建效率飙升72%!
人工智能·深度学习·神经网络·机器学习·计算机视觉
nbsaas-boot1 小时前
用生成器守住架构,用 AI 放大效率:一套可落地的 AI 编程方法论
人工智能·架构
文弱_书生2 小时前
为什么神经网络的权重矩阵具有低秩特性?如何理解和解释?
人工智能·神经网络·矩阵
Bar_artist2 小时前
微软推出革命性AI安全工具Project IRE,重塑网络安全防御新范式
人工智能·安全·microsoft
cver1233 小时前
人脸情绪检测数据集-9,400 张图片 智能客服系统 在线教育平台 心理健康监测 人机交互优化 市场研究与广告 安全监控系统
人工智能·安全·yolo·计算机视觉·目标跟踪·机器人·人机交互
技术老金3 小时前
LangGraph入门与避坑指南:从ReAct到复杂流程编排
人工智能·python