Google 发布 Gemini 4 Argon,物理推理模型直接控制机器人完成投掷、折纸任务

Argon 可应用于机器人生命周期的所有环节,从视频或草图重建仿真环境、生成控制代码、标注数据到迭代改进策略,已演示控制 Boston Dynamics Spot 四足机器人、76 自由度双手人形机器人完成踩踏板、折纸、投掷等任务。

ERQA 基准测试评估模型在 3D 环境中理解和解决物理、空间问题的能力。官方博客称 Argon 在物理理解、代码生成和视觉语义推理方面实现跨越式进步。

直接控制多类型机器人硬件

Argon 控制 Boston Dynamics Spot 四足机器人学会踩踏板垃圾桶扔易拉罐。Spot 的腿部有 12 自由度,配备 6 自由度手臂。Argon 先创建踏板垃圾桶的 MuJoCo 数字孪生体练习动作,再在物理硬件上执行。控制过程中使用视觉坐标系统和动作原语,手腕相机配备投影的 2 厘米世界坐标校准网格。

在人形机器人上,Argon 控制 76 自由度双手人形机器人,机器人身体有 32 自由度,配备两个 22 自由度五指灵巧手,完成将正方形纸折成折纸狐狸的任务,总时长 136 秒,涉及 6 个连续语义子任务和 17 个接触级原子操作。

投掷任务中,Argon 综合 50 赫兹全身投掷轨迹,共 140 步、2.80 秒,人形机器人保持直立平衡,骨盆漂移小于 3 厘米,击倒全部 6 个目标箱子。

从多种输入重建物理仿真环境

Argon 可从机器人相机视频、第一人称人类视频或手绘草图重建物理校准的仿真孪生体。重建过程中,Argon 使用迭代视觉推理循环调整资产和场景,使仿真中的视觉和接触事件与真实记录数据匹配,用复合凸分解网格替换粗糙边界框。

在双臂 Franka FR3 的 MuJoCo 环境中,Argon 解决 12 球平衡秤谜题,这 12 个台球视觉上完全相同,Argon 在 3 次称重内将异常球分离到重球托盘或轻球托盘。

视频生成模型的闭环引导

Argon 在闭环中引导视频世界模型。演示中,Argon 写出带时间戳的动作提示,引导 33 步视频生成,在桌面上拼出 A-R-G-O-N 字母。每个命令必须保持在 0.55 弧度范围内,手臂关节和 0.65 弧度范围内,手部关节,控制人形机器人 7 自由度手臂和 22 自由度手的关节。

数据标注与行为改进

Argon 提供多模态事后标注功能,能识别不稳定的抓握和失误等糟糕的操作片段。在行为克隆训练中,这些片段的权重被降低到 0.15 倍至 0.25 倍。

Argon 将人类手部轨迹重定向到 76 自由度双手人形机器人上,综合平衡的全身和五指投掷轨迹。仿真在 MuJoCo 中以 500 赫兹运行,时间步长为 0.002 秒。物体提升验证的最小高度为 2 厘米。

官方博客展示了 Argon 导出的 Blender 4.5 Cycles 渲染,支持通过仿真进行动作改进和在硬件上进行迭代自我改进。博客未说明 Argon 的训练数据规模、推理延迟或商业可用性计划。

相关推荐
AI直播技术杂谈1 小时前
无人直播中控的硬件底线,旧电脑要满足哪些条件
网络·python·ai·云计算
玫瑰互动GEO2 小时前
通义千问GEO优化占位工程化:结构化事实+场景内容+可引用卖点,接住导购推荐
人工智能·ai·gem·geo优化·gem优化
紫洋葱hh2 小时前
Go 入门基础:类型、变量与运算符
开发语言·后端·ai·golang
阿阿阿安3 小时前
Agent 智能体开发(三)Agent 自定义框架搭建
人工智能·ai·agent
奋斗的源3 小时前
Ollama 本地大模型运行指南:从下载到部署
ai·ollama
我命由我123453 小时前
ReAct 循环
学习·ai·产品运营·学习方法·ai编程·ai写作·产品
百数平台3 小时前
六大 AI 智能体业务场景:表单、巡检、合同审查落地实践
低代码·ai
边界智能3 小时前
国庆假期 AI Agent 行业复盘|智能体的考核标准被改写
人工智能·ai·智能体
Solange__3 小时前
工业产线怎么用AI生成3D场景?从现场采集、部件重建到数字孪生交付的完整方案
人工智能·游戏·3d·ai·语言模型·自然语言处理·关卡设计