Google 发布 Gemini 4 Argon,物理推理模型直接控制机器人完成投掷、折纸任务

Argon 可应用于机器人生命周期的所有环节,从视频或草图重建仿真环境、生成控制代码、标注数据到迭代改进策略,已演示控制 Boston Dynamics Spot 四足机器人、76 自由度双手人形机器人完成踩踏板、折纸、投掷等任务。

ERQA 基准测试评估模型在 3D 环境中理解和解决物理、空间问题的能力。官方博客称 Argon 在物理理解、代码生成和视觉语义推理方面实现跨越式进步。

直接控制多类型机器人硬件

Argon 控制 Boston Dynamics Spot 四足机器人学会踩踏板垃圾桶扔易拉罐。Spot 的腿部有 12 自由度,配备 6 自由度手臂。Argon 先创建踏板垃圾桶的 MuJoCo 数字孪生体练习动作,再在物理硬件上执行。控制过程中使用视觉坐标系统和动作原语,手腕相机配备投影的 2 厘米世界坐标校准网格。

在人形机器人上,Argon 控制 76 自由度双手人形机器人,机器人身体有 32 自由度,配备两个 22 自由度五指灵巧手,完成将正方形纸折成折纸狐狸的任务,总时长 136 秒,涉及 6 个连续语义子任务和 17 个接触级原子操作。

投掷任务中,Argon 综合 50 赫兹全身投掷轨迹,共 140 步、2.80 秒,人形机器人保持直立平衡,骨盆漂移小于 3 厘米,击倒全部 6 个目标箱子。

从多种输入重建物理仿真环境

Argon 可从机器人相机视频、第一人称人类视频或手绘草图重建物理校准的仿真孪生体。重建过程中,Argon 使用迭代视觉推理循环调整资产和场景,使仿真中的视觉和接触事件与真实记录数据匹配,用复合凸分解网格替换粗糙边界框。

在双臂 Franka FR3 的 MuJoCo 环境中,Argon 解决 12 球平衡秤谜题,这 12 个台球视觉上完全相同,Argon 在 3 次称重内将异常球分离到重球托盘或轻球托盘。

视频生成模型的闭环引导

Argon 在闭环中引导视频世界模型。演示中,Argon 写出带时间戳的动作提示,引导 33 步视频生成,在桌面上拼出 A-R-G-O-N 字母。每个命令必须保持在 0.55 弧度范围内,手臂关节和 0.65 弧度范围内,手部关节,控制人形机器人 7 自由度手臂和 22 自由度手的关节。

数据标注与行为改进

Argon 提供多模态事后标注功能,能识别不稳定的抓握和失误等糟糕的操作片段。在行为克隆训练中,这些片段的权重被降低到 0.15 倍至 0.25 倍。

Argon 将人类手部轨迹重定向到 76 自由度双手人形机器人上,综合平衡的全身和五指投掷轨迹。仿真在 MuJoCo 中以 500 赫兹运行,时间步长为 0.002 秒。物体提升验证的最小高度为 2 厘米。

官方博客展示了 Argon 导出的 Blender 4.5 Cycles 渲染,支持通过仿真进行动作改进和在硬件上进行迭代自我改进。博客未说明 Argon 的训练数据规模、推理延迟或商业可用性计划。

原文地址:tools.wflynn.cn/aitools/tre...

关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报:

相关推荐
hudie7651 小时前
LikeShop 单商户开源版本地部署全流程(PHPStudy 版)
开源
7177772 小时前
支持私有部署的 DevOps 平台推荐:Gitee 专业版与主流开源方案对比
gitee·开源·devops
LiuPig刘皮哥2 小时前
xiaoke.ai 小可爱技术路线图解:3D 陪玩、虚拟陪伴、透明桌宠
人工智能·3d·开源
wflynn2 小时前
GitHub 今日推荐|solidcraft:Rust 跨平台参数化 CAD,支持 AI 代理通过 MCP 协议驱动建模
rust·开源·github·cad·3d-modeling·brep
万物智能信息科技3 小时前
气体传感器MQ-2芯片驱动开发—【万物智能之开源鸿蒙OpenHarmony系统实战开发系列教程】
驱动开发·嵌入式硬件·华为·开源·harmonyos
穆梓兰煊3 小时前
pgvector新版本向量检索评测
github
鶴哥只手遮天3 小时前
《OpenFOAM 源码深度剖析》系列-第 3 章 字典系统、IO 体系与对象注册表
算法·开源
鶴哥只手遮天3 小时前
《OpenFOAM 源码深度剖析》系列-第 2 章 wmake:OpenFOAM 自研构建系统与编译配置体系
算法·开源
鶴哥只手遮天3 小时前
《OpenFOAM 源码深度剖析》系列-第 9 章 有限体积离散框架:`fvMatrix`、`fvSchemes` 与 `fvSolution`
算法·开源