觅蜂联合发起具身评测平台RoboColiseum,GPT-6、Opus 5.5、Gemini 4同台决战!

当OpenAI、Anthropic和Google三大AI巨头的旗舰模型同台决战,谁更会操控机器人?

10月20日,由觅蜂科技、Hugging Face、NVIDIA、清华大学等全球近 20 家高校、企业、科研机构共同联合发起的具身角斗场RoboColiseum公布本轮评测结果:Claude Opus 5.5位列四款旗舰模型综合第一,GPT-6 Astra紧随其后。

分项来看,在四款旗舰模型中,GPT-6 Astra在指令跟随与整体扰动适应上领先,其中指令跟随得分达到99.35;Opus在空间理解与通用操作上表现更好,并以最少的全轮评测token消耗拿下旗舰组综合第一。在图像质量受扰动的测试中,GPT-6.1 Sol明显落后于其他三款模型,显示出不同模型应对视觉信息变化时的稳定性差异。

但本轮综合排名前两名,仍由具身策略模型占据,尤其是在通用操作维度保持优势。

这场同台较量,为行业看清通用大模型与具身策略模型的能力优势与短板提供了直观参考。

RoboColiseum围绕指令跟随、空间理解、扰动适应和通用操作,推出四类能力子榜、78个高保真仿真评测任务,既呈现模型的分项表现,也记录任务完成步骤与失败位置,帮助开发者快速定位模型能力短板。

作为联合发起方,觅蜂为RoboColiseum提供高保真物体资产和仿真场景,支持构建复杂机器人操作任务的评测环境,并为不同物体交互、空间布局与环境条件下的模型能力测试提供基础资源。

模型在仿真中的成绩能否反映真实操作表现,同样是评测的关键。根据平台公布的实测结果,RoboColiseum仿真评测与实机部署的相关性达到89.5%,相同模型在仿真与真实世界中的评测差异小于10%,可为开发者进入真机测试前的模型筛选与问题定位提供参考。

觅蜂科技提供"又全又好又快"的数据供给体系,覆盖真机、仿真与无本体三大数据范式。在仿真方面,觅蜂提供物体资产与环境资产两类资源,覆盖多种日常物品及室内场景,并提供场景重建、专家轨迹数据获取和评测结果可视化等能力,帮助模型团队开展多样化训练与评测。

Coliseum原指古罗马圆形竞技场,RoboColiseum以此为意象,构建多维度的系统评测体系,以与真机表现高度一致的仿真评测,给具身智能模型搭建一个公开、中立、可复现的"竞技场"和"训练场"。任何高校、研究机构或企业开发者,都可以把自己的模型提交上去,接受一套标准化"考试"。自8月上线以来,已有海内外100多支队伍在平台开展模型训练与评测。

RoboColiseum现已面向全球开发者开放,欢迎模型团队参与评测。

相关推荐
IT大白鼠1 小时前
MCP 生态半年报从 Anthropic 的一份协议,到 AI 世界的「USB-C」
人工智能
lucas_AI1 小时前
Kimi K3.1 Pro 发布:104B 激活参数追到 Opus 5.5 差 0.7 个点,还主动「删掉」了自己的网络攻击能力
人工智能
AIGC大时代1 小时前
AI 辅助题录筛选怎么选型终裁:金标准召回·漏检·批处理边界的能用/限场景/不能用验收
人工智能
ebok.1 小时前
低代码平台如何集成 AI:从开发侧到运行侧的技术实践与京微智枢方案
人工智能·低代码·ai·rxjava
larance1 小时前
[机器学习40讲]28-最简单的概率图:朴素贝叶斯
人工智能·机器学习
垂钓的小鱼11 小时前
自建爬虫、免费股票量化数据源、商业 量化API:三种股票数据获取方式的完整对比
大数据·人工智能
Light601 小时前
豆包收回了那只“手“,Agent手机开始拼协议
人工智能·智能手机·mcp协议·权限边界·agent手机·appfunctions·工具投毒
Yolanda_20221 小时前
PyTorch 线性层nn.Linear底层数学原理
人工智能·pytorch·python
长弓三石1 小时前
钉钉与飞书机器人接入企业级智能体过程及排障实录
人工智能·机器人·钉钉·飞书·企业级harness