vln

Felaim18 小时前
runtime·vla·vln·harness·分层导航
【VLN】NavGPT-3分层导航运行时一句话定位 用 Harness + 类 OS 运行时 把「慢而强的 LLM Planner」接到「快而专的 NavGPT VLA」上:工具管空间上下文与路线修补,Motion Authority 管谁能动;完整系统在 R2R-CE 达 81.51 SR,RxR-CE 首次逼近人类跟随者(90.43 vs 90.4 SR)。
Felaim6 天前
slam·传感器·人形机器人·vln·相机选型
【SLAM】人形机器人 VLN 相机与传感器配置调研不建议第一版直接照搬自动驾驶的四鱼眼环视 BEV SLAM。更稳的硬件主线:主要原因:VLN 需要的不只是轨迹,而是「我在哪里、门/房间/楼梯/桌椅在哪里、语言目标如何落到地图实体」;人形机器人有头颈/躯干摆动、步态冲击、自遮挡、足端接触、无轮速等特点,不能简单套用轮式/车辆 SLAM;公开人形机器人硬件的共同趋势是头部/面部集成 3D 感知(RGB-D/深度相机 + LiDAR,或多 RGB + VLA);公开资料中焦距通常不公开,工程选型应以 FOV、分辨率、快门、同步、基线、深度范围和畸变模型为主约
Felaim11 天前
零样本·vln·跨本体·objectnav·系统分层
SysNav论文精读一句话定位 把真机 ObjectNav 当成系统工程而不是单一策略:高层用三层场景图 + VLM 只做房间级语义决策,中层房间内用经典探索,低层换轮式/四足/人形底座——190 次真机实验,宣称首个能稳定做楼宇级长程找物的系统。
Felaim11 天前
grpo·vln·记忆机制·vlm导航
Embodied-Navigator TAMP-Nav论文精读一句话定位 让视觉语言模型(VLM,看图+读懂文字的大模型)在导航里只做「在图上点一下下一步该去哪」,深度与 SLAM 控制器负责变成 3D 路点并走过去;只在岔路口等关键处思考,中间路程压成轻量时空标记;再用双层 GRPO 强化学习把「想不想」和「走得好不好」对齐。主结果:R2R-CE Val-Unseen SR 66.2%,仅约 90k 条轨迹。
Felaim11 天前
vlm·vln·通才导航·rvq·双通道指向
LightNav-0论文精读一句话定位 用 Qwen3-VL-4B 当唯一骨干、不加导航专用头:先出定长「可行点 + 目标点」双通道指向,再用 3 个 RVQ token 解出 10 个 SE(2) 航点;一个 checkpoint 覆盖跟指令、找物体、视觉跟踪,并零样本跨机型。
学AI不秃头12 天前
数字孪生·jetson·机器人仿真·mujoco·边缘ai·视觉语言导航·vln
一句话指挥两轮机器人?Jetson 跑通视觉语言导航(VLN)× MuJoCo 数字孪生闭环以上是我们正在制作开源底盘课程在英伟达 Jetson 上跑 VLN 仿真的效果。 如果你感兴趣,麻烦点个start 底盘课程,会给我们莫大的动了! 指令是 Locate the refrigerator in the room and stop beside it。我们的底盘小车在 MuJoCo 里走走停停,每停一次就向模型要下一段路,哈哈哈。
Felaim12 天前
vla·双系统·vln·internvla-n1·pixel-goal
InternVLA-N1双系统视觉语言导航一句话 把「听懂导航指令」和「脚下怎么走」拆成两个系统:慢的 System 2 用 7B 视觉语言模型在图上指出下一步该去哪;快的 System 1 用扩散策略每秒几十次生成避障轨迹。中间不用含糊的像素点,而用学出来的 潜在计划;只在仿真训,真机可零样本换轮式 / 四足 / 人形。
一直在努力的小宁1 个月前
人工智能·深度学习·机器学习·agent·具身智能·vlm·vln
【阅读笔记】具身智能的真机数采,到了分水岭本篇位置:本批第 9 篇,也是今天三篇里信息密度最高的一篇,是主样本。它把第 8 篇提出的问题(缺什么数据、谁会成为主流)用一次行业深度访谈做了解答,而且给了具体的时间线、成本账和人物名单。第 10 篇(知乎技术综述)则是理解本篇所有设备名词的底图。
一直在努力的小宁2 个月前
agent·vla·vlm·vln·harness
[特殊字符] 具身智能Agent开发调研|零基础超详细笔记(万字长文)老师发了一份智能体开发调研文件,零基础看完全懵。花了一整天查资料、拆概念、整理成这份笔记。既是科普,也是自己的完整学习记录。全文包含所有细节、数据、例子、设计动机,建议收藏慢慢看。 具身智能Agent开发调研|零基础超详细笔记 - 小红书
feasibility.2 个月前
ai·机器人·无人机·导航·具身智能·vla·vln
当“给机器人指路“成为一门数据工程学——SimpleNav 拆解:导航大模型的标准化之争一个场景:你想让无人机听懂"飞到那座红色屋顶的左边,绕过塔吊,停在空地上"。 三年前,这需要为一个数据集写一套数据解析、为一个仿真器写一套接口、为一个模型写一套评测脚本。2026 年,清华 THUNLP 联合 OpenBMB 等机构开源的 SimpleNav 说:这套东西应该只需要写一次。
惊鸿一博2 个月前
vln
VLN (Vision-and-Language Navigation) _视觉语言导航介绍VLN (Vision-and-Language Navigation) 即视觉语言导航。它是具身智能(Embodied AI)和机器人领域的一个核心跨模态任务。
长桥夜波5 个月前
论文阅读·vln
【第四十三周】论文阅读《Planning with the Views via Scene Self-Exploration》本周我阅读了一篇关于视觉语言模型在三维空间中进行视角规划能力研究的论文。这项工作的核心问题是:当前的视觉语言模型能否像人一样,通过在三维环境中主动移动自己的“视角”(即眼睛的位置和朝向),逐步探索周围空间,最终定位到一个目标视角?
星光技术人6 个月前
人工智能·深度学习·计算机视觉·自动驾驶·vln
Enhancing End-to-End Autonomous Driving with Latent World Model- 论文ID:arXiv:2406.08481 - 作者:Yingyan Li, Lue Fan, Jiawei He, Yuqi Wang, Yuntao Chen, Zhaoxiang Zhang, Tieniu Tan - 机构:中国科学院自动化研究所 (CASIA), 模式识别国家重点实验室 (NLPR), 多模态人工智能系统国家重点实验室 (MAIS) - 发布时间:2024-06-12 (v1), 2025-02-28 (v2) - 会议/期刊:ICLR 2025 - 链接:[arXiv](h
丶契阔7 个月前
vln
视觉语言导航 之 人机交互主动对话导航新基准VL-LN Benchmark本文提出 IIGN 任务与 VL-LN 基准,首次系统研究具备主动对话能力的具身导航智能体如何在房屋级长程环境中通过"主动提问"解决指令歧义、提升实例定位精度。arxiv
深蓝学院10 个月前
导航·具身智能·vln
VLN 领域首个双系统基础模型,三大基准 SOTA,重新定义导航技术上限!目录系统2:慢思考的“大脑”系统1:快行动的“小脑”System 2 的核心功能——从3D路径到2D路标的自动生成
Robot侠10 个月前
人工智能·深度学习·transformer·rag·视觉语言导航·vln
视觉语言导航从入门到精通(四)本文是「视觉语言导航从入门到精通」系列的第四篇,介绍VLN领域的前沿方法和最新研究进展。VLN领域经历了三个主要发展阶段:
Robot侠10 个月前
网络·人工智能·microsoft·llm·vln
视觉语言导航从入门到精通(一)本文是「视觉语言导航从入门到精通」系列的第一篇,主要介绍VLN的基本概念、研究背景和发展历程。视觉语言导航(Vision-and-Language Navigation, VLN) 是一个跨模态的具身智能任务,要求智能体(Agent)根据自然语言指令,在真实或模拟的3D环境中进行导航,最终到达目标位置。
Robot侠10 个月前
开发语言·人工智能·python·llm·vln
视觉语言导航从入门到精通(二)本文是「视觉语言导航从入门到精通」系列的第二篇,详细介绍VLN领域的主流数据集和评估指标。R2R是VLN领域最经典、使用最广泛的benchmark数据集。
Robot侠10 个月前
llm·transformer·vln·multi-modal llm
视觉语言导航从入门到精通(三)本文是「视觉语言导航从入门到精通」系列的第三篇,深入讲解VLN的核心模型架构和关键技术。VLN Agent 架构
v_JULY_v1 年前
yolo11·视觉语言导航·vln·lovon
LOVON——面向足式Open-Vocabulary的物体导航:LLM做任务分解、YOLO11做目标检测,最后L2MM将指令和视觉映射为动作(且解决动态模糊)因为项目需要(比如我们在做的两个展厅讲解订单),近期我一直在研究VLN相关,有些工作哪怕暂时还没开源(将来可能会开源),但也依然会解读,比如好处之一是构建完整的VLN知识体系,本文便是其中一例