vla

一颗小树x2 天前
论文复现·vla·realtime-vla v2
《VLA 系列》 Realtime-VLA V2 论文复现 | 加速推理 | 代码分析本文对Realtime-VLA V2 进行复现,记录一下,供大家参考:开源地址:https://github.com/dexmal/realtime-vla-v2
The moon forgets3 天前
人工智能·pytorch·python·深度学习·具身智能·vla
DreamVLA:世界知识驱动的视觉-语言-动作新范式最近在视觉-语言-动作(VLA)模型方面的进展展示了将图像生成与动作预测相结合以提高机器人操作泛化能力和推理能力的潜力。然而,现有方法局限于具有挑战性的基于图像的预测,存在冗余信息且缺乏全面且关键的世界知识,包括动态、空间和语义信息。为了解决这些局限性,我们提出了DreamVLA,一个新颖的VLA框架,集成了综合世界知识预测以实现逆动力学建模,从而建立操作任务的感知-预测-行动循环。具体来说,DreamVLA引入了动态区域引导的世界知识预测,结合空间和语义线索,为动作规划提供了紧凑而全面的表示。这种设计符
Agilex松灵机器人4 天前
人工智能·机器人·具身智能·vla·aloha·松灵科研案例
什么是具身智能底盘?4 类主流 AI 机器人底盘选型|VLA/ROS2 项目硬件指南在具身智能机器人开发中,AI 具身智能、VLA 大模型落地,机械臂、视觉算法往往会受到更多关注,但是适配具身交互的智能移动底盘,才是机器人 SLAM 导航、移动抓取的硬件基础,不少科研踩坑都是选错 ROS2 机器人底盘导致项目延期。
一颗小树x9 天前
加速·推理·vla·realtime-vla
《VLA 系列》复现 realtime-vla | 加速推理 | Triton后端本文介绍了实时realtime-vla 的加速实现方案,通过Triton后端优化在RTX 4090/5090显卡上达到20-55ms的推理速度。
feasibility.9 天前
人工智能·机器人·ros·仿真·具身智能·vla·vlm
ROS2+Gazebo+VLM服务:纯仿真环境下的具身智能闭环系统| 大脑-小脑分离控制上一篇创建环境和代码框架基础可以见《ROS2+Gazebo+VLA占位服务:纯仿真环境下的具身智能闭环实现》(https://blog.csdn.net/weixin_55221858/article/details/156659624),本次把占位服务替换为VLM服务,读者有能力的话也可以自己训练能直接输出动作的VLA模型,实现真正的VLA端到端服务。
一颗小树x9 天前
加速·vla·推理优化·realtime-vla
《VLA 系列》realtime-vla | 论文解读 加速推理 30Hz+本文分析 realtime-vla,在单张消费级 RTX 4090 GPU 上的实时推理,达成 30Hz 图像推理速率 、最高 480Hz 轨迹控制频率。
传说故事16 天前
论文阅读·人工智能·具身智能·vla
【论文阅读】MEM: Multi-Scale Embodied Memory for Vision Language Action Models1.题目: MEM: Multi-Scale Embodied Memory for Vision Language Action Models 2.时间: 2025.04 3.机构: Physical Intelligence, Stanford University, UC Berkeley, MIT 4.3个英文关键词: VLA, Memory, Video Encoder
传说故事17 天前
论文阅读·人工智能·具身智能·vla
【论文阅读】RLDX-1本文提出了一种名为RLDX-1的通用机器人策略模型,通过整合视觉、语言、动作以及触觉/扭矩等物理信号,并配合合成数据和推理优化,让机器人(尤其是人形机器人)能像人一样灵活地处理复杂的动态和接触丰富的操作任务。
传说故事17 天前
论文阅读·人工智能·具身智能·vla
【论文阅读】StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision1.题目: StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision 2.时间: 2025.12 3.机构: Galbot, Peking University, The University of Hong Kong, Institute of Automation. Chinese Academy of Sciences, Beijing Academy of Artificial Intelligence, Xiame
qcx231 个月前
ai·机器人·llm·agent·具身智能·vla
阿里 RynnVLA-002 源码深度拆解:一个 7B 模型如何同时当机器人大脑和世界模拟器一个 Transformer,两种人格:左手操控机械臂做动作,右手预测下一帧画面。阿里达摩院用 LIBERO 97.4% 的成绩证明这不是玩具。
Robot_Nav1 个月前
机器人·具身智能·vla·wbc
机器人全身控制(WBC)深度技术综述:从经典理论到VLA前沿全身控制(Whole-Body Control, WBC)是一种面向高自由度机器人的统一任务导向反馈控制方法,其核心在于同时协调机器人所有关节与接触点,以满足多重物理约束并执行多项具有优先级差异的任务。WBC 被 IEEE 列为重点研究方向,覆盖全身位/力控制、模型基动力学控制、质心动量调控及多接触力分配等主题。本文从数学基础(零空间投影、层级优化)、经典求解方法(封闭式 vs. 优化式、ID-WBC/PB-WBC/QP-WBC)、与 MPC/TO 的系统对比、开源框架(OpenSoT、legged_co
lovep11 个月前
机器人·具身智能·vla·rt-1
VLA系列RT-1: Robotics Transformer for Real-World Control 论文阅读和理解验证上述问题的难点:如何解决:贡献点:这里有一个值得思考的地方:text token其实根据token-prune相关的paper中会发现占比是很重要的,也就是当遇到这种类似场景时,text-token比视觉token更重要,会不会带来vla泛化性能有问题使得模型更关注指令而非视觉?
传说故事2 个月前
论文阅读·具身智能·vla
【论文阅读】Fast-WAM: Do World Action Models Need Test-time Future Imagination?发现WAM的核心价值在于训练时用视频预测任务学习更好的世界表征,而非测试时真的去生成未来视频,因此提出Fast-WAM:训练保留视频co-training,推理跳过未来预测,实现4倍加速且性能不降。
传说故事2 个月前
论文阅读·人工智能·具身智能·vla
【论文阅读】StarVLA-α: Reducing Complexity in Vision-Language-Action Systems题目:时间: 2026.04机构: HKUST, XJTU, CUHK, THU, Tongyi Lab Alibaba Group, SmartMore Ltd.
深蓝学院2 个月前
自动驾驶·vla·数据闭环
数据闭环到训练闭环:2026年自动驾驶最新进展「训练闭环,自动驾驶的下一站」目录01 范式升级:从数据闭环到训练闭环的核心变革02 2026年训练闭环核心技术进展
大唐荣华2 个月前
强化学习·rl·vla
从π到F:分阶段强化学习如何让机器人学会精密装配在具身智能与机器人操作领域,长时序精密装配一直是核心难题——从目标搜索、姿态对齐、稳定抓取到精准插入,任何一环失误都会导致任务失败。传统端到端强化学习常面临样本效率低、任务拆解难、鲁棒性不足的问题,而分阶段策略学习凭借「前向初始化+反向微调」的闭环框架,成为解决复杂操作任务的主流方案。
SkyXZ~2 个月前
人工智能·机械臂·具身智能·vla·openvla·双臂具身·具身智能综述
从零开始的双臂具身VLA起源及现阶段发展综述作者:SkyXZCSDN:SkyXZ~-CSDN博客博客园:SkyXZ - 博客园过去几年,LLM模型和VLM模型发展得非常快。尤其是在2020年ChatGPT发布GPT-3之后,大家越来越清楚地看到,模型在语言理解、知识调用、常识推理,甚至跨任务泛化上,已经具备了很强的能力。也正因如此,一个很自然的问题开始出现:如果模型已经这么“聪明”,那它能不能进一步走出数字世界,真正去理解环境、操作物体、完成任务?
夜幕龙2 个月前
机器人·具身智能·vla
VLA paper 速读《π*0.6: a VLA That Learns From Experience》:RECAP 如何让 VLA 从真实部署里继续变强更新时间:2026-04-12图源:论文 Fig.1 图解:传统 imitation learning 的上限很明显:机器人只能尽量模仿示范者,很难靠自己越做越熟、越做越快。尤其是真实部署时,机器人会犯各种“小错”——抓偏、碰歪、节奏慢、恢复差。 这篇论文要解决的是:
一颗小树x2 个月前
vla·人形机器人·humdex·全身灵巧操作·遥操作系统
《VLA 系列》HumDex | 人形机器人 | 全身灵巧操作 | 遥操作系统 | 数据采集HumDex 是一个面向人形机器人 全身灵巧操作的便携式遥操作系统。论文地址:HumDex: Humanoid Dexterous Manipulation Made Easy