CVPR 2025丨机器人如何做看懂世界

关注gongzhonghao【CVPR顶会精选】

写论文最怕什么?不是熬夜改格式,也不是参考文献乱成麻,最怕的是------论文刚写一半,发现你的研究方向已经被别人"抢跑"了。尤其在具身智能这个飞速发展的领域,变化简直像坐过山车:昨天还在用静态数据集训练模型,今天就有人用真实机器人走上街头采集动态交互数据了。

具身智能的研究,起初只是想让机器人"动起来",而如今,它正向着融合感知、推理、决策和物理交互的全栈能力狂奔,数据规模、任务多样性和跨模态技术都在飞跃式提升。跟不上节奏,论文可能还没投出去,就被新的SOTA甩在了身后。而小图今天要讲的,就是一个能帮你踩中具身智能浪潮而不被淘汰的新思路------它或许正是你下篇论文的灵感来源。

论文一:ECBench: Can Multi-modal Foundation Models Understand the Egocentric World? A Holistic Embodied Cognition Benchmark

方法:

文章通过整合虚拟场景和真实场景,收集了386个RGB-D视频,并由人工标注生成了4324个问答对,确保了数据的多样性和高质量。在评估过程中,采用多轮筛选策略去除仅依赖常识即可回答的问题,确保了评估的严谨性。此外,通过在不同类型的LVLMs上进行广泛实验,验证了ECBench在评估具身认知能力方面的有效性。

创新点:

  • 首次将具身认知能力细分为30个维度,覆盖静态场景、动态场景与幻觉三大类,形成系统化评测框架。

  • 创新引入机器人中心问题设计,强调模型的自我认知与环境关系理解。

  • 提出ECEval混合评分体系,结合多级评分与二元评分,确保开放式与封闭式问题的公平精准评估。

论文链接:

https://cvpr.thecvf.com/virtual/2025/poster/33904

图灵学术论文辅导

论文2:CityWalker: Learning Embodied Urban Navigation from Web-Scale Videos

方法:

作者首先收集2000+小时多地点、多天气、多时间段的城市步行和驾驶视频,并利用视觉里程计提取相对位姿生成动作标签,经过归一化处理消除尺度与形态差异。然后,模型接收历史图像特征、历史轨迹与目标位置编码,通过Transformer生成未来动作与到达状态预测,并在训练中加入特征幻觉损失、方向损失、L1损失和到达状态损失联合优化。最后,通过少量专家数据微调,使模型在真实复杂城市环境中显著优于现有方法,并展现良好的跨域与数据扩展能力。

创新点:

  • 提出利用网络规模的城市步行与驾驶视频,通过视觉里程计自动生成动作标签,实现低成本大规模模仿学习。

  • 设计通用且可扩展的数据处理流程,可跨领域与跨形态迁移导航策略。

  • 引入特征幻觉损失,在预测未来动作的同时引导模型生成更贴近未来观测的表示,提高导航精度。

论文链接:

https://cvpr.thecvf.com/virtual/2025/poster/33371

图灵学术论文辅导

论文三:Ges3ViG: Incorporating Pointing Gestures into Language-Based 3D Visual Grounding for Embodied Reference Understanding

方法:

作者首先整合并标注来自真实机器人和仿真环境的多模态数据,涵盖静态图像、视频与传感器信息,并构建多类型问答任务以全面衡量机器人视觉理解与推理能力。随后,采用多阶段训练策略,先在通用VQA数据上进行预训练以学习基础语言与视觉对齐能力,再在RoboVQA数据上微调以强化机器人相关语义与推理。最后,通过在仿真与真实机器人任务上的评测,将问答性能与实际执行效果进行对比分析,验证模型在真实场景中的适应性与实用性。

创新点:

  • 构建涵盖机器人多场景、多模态任务的RoboVQA数据集,融合真实与仿真数据,覆盖感知、推理、规划等多类问题。

  • 设计面向机器人的视觉语言模型训练流程,使其在理解场景语义的同时具备与机器人控制相关的推理能力。

  • 提出跨模态任务评测方法,将VQA性能与机器人真实任务执行效果关联,确保模型具备可落地性。

论文链接:

https://cvpr.thecvf.com/virtual/2025/poster/35108

本文选自gongzhonghao【CVPR顶会精选】

相关推荐
天树星智源几秒前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔4 分钟前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang1 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE9 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷10 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我11 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0111 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn11 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄12 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下13 小时前
langgraph 全栈项目(三)
前端·人工智能·后端