数据开源 | 白虎-VTouch 正式开源:首个跨本体视触觉多模态数据集

具身智能走向真实世界规模化应用,离不开可复现、可扩展、可协同演进的数据基础设施。围绕真实物理交互能力构建这一核心工程目标,1 月 26 日,国家地方共建人形机器人创新中心(以下简称"国地中心")联合上海纬钛科技有限公司(以下简称"纬钛机器人"),正式发布全球首个最大规模跨本体视触觉多模态数据集------白虎-VTouch(Vision-Based Tactile Sensor) ,总规模超过 60,000 分钟,其中首批 6,000 分钟数据已在 OpenLoong 开源社区同步开放下载,面向全球开发者与产业伙伴使用与共建。数据集网址:https://ai.atomgit.com/openloong/visuo-tactile

跨本体视触觉多模态数据体系的工程突破

白虎-VTouch(Vision-Based Tactile Sensor) 包含视触觉传感器数据、RGB-D 数据、关节位姿数据等多模态信息,覆盖轮臂机器人(D-Wheel)、双足人形机器人(青龙)及手持智能终端等多种机器人本体结构,以真实物理交互过程为核心对象,将视触觉传感器数据、RGB-D 视觉信息与机器人关节位姿状态进行系统整合,构建覆盖感知、接触与动作全过程的多模态训练语料体系。

跨层次交互理解具身标注体系

基于真实物理交互与多模态感知数据,我们构建了跨层次交互理解具身标注体系,通过视觉、语言、动作与触觉等多模态语义的联合建模与对齐,实现跨模态表征学习与统一理解,为下一代具身VTLA提供数据标准。白虎-VTouch数据标注体系将分批次开源。

**抽象思维层:理解"为什么"。**通过将任务抽象意图推演成通用化维度交叉思维链,模型直接学习背后的思维链规律组合。

**动作逻辑层:明白"怎么做"。**创建完备独立的原子动作元语,结合自然语言指令将复杂长流程任务操作拆解为动作步骤序列,涵盖操作逻辑与步骤内涵。

**物理状态层:感受"做什么"。**通过视触觉增强的物理交互信息深化智能体对自身状态的掌握,同时确保物理真实一致性和多模态同步对齐。

"矩阵式"任务构建新范式

任务构建 方法上,白虎-VTouch 并未沿用传统的"人工定义单任务"路径,而是提出"矩阵式"任务构建新范式 。该范式以双臂协同结构、原子操作类型、接触与触觉模式作为核心维度,并结合物体与几何属性、感知模态组合及任务层级结构等辅助维度进行系统性交叉,每一个维度交点,均对应一个可执行的最小任务单元。基于这一构建逻辑,白虎-VTouch 覆盖了家居家政、工业制造、餐饮服务与特殊作业四大真实应用领域,形成380+ 任务类型、100+ 原子技能、500+ 真实物品的高密度任务空间。同时,通过光照变化、遮挡干扰与姿态扰动等方式显式引入泛化条件,使任务设计从一开始即面向真实部署环境。

补齐具身智能 Scaling Law 中缺失的"触觉维度"

具身智能的 Scaling Law,与大模型语境下的 Scaling 并不完全等价,其中长期缺失的一环,正是"接触与触觉"。

白虎-VTouch 的核心价值之一,在于其系统性的引入了真实物理交互中的触觉与接触信息。白虎-VTouch 所采用的视触觉传感器支持最高 640×480 分辨率与 120Hz 刷新率,在物体接触过程可稳定记录细粒度接触变化,**包含视触觉接触图像约9072万对真实物体接触样本。视触觉接触数据占本数据集规模的比重为57%,**显著扩展了真实物理交互场景的接触范围。基于视触觉传感器的高空间分辨率与多维力感知能力,数据集能够以图像级形式记录接触过程中的微观形变、压力分布与滑移状态,使触觉信息具备与视觉同等级别的可学习表征密度。

这类数据服务于对接触状态高度敏感的任务场景,补足了具身智能Scaling Law所缺失的"触觉与接触"维度,为模型建立"接触前---接触中---接触后"的完整物理理解提供了必要基础,也为机器人从"能看"走向"能触、能控、能稳态泛化"奠定了关键语料支撑。

在任务层面,视触觉信息重点覆盖260+接触密集型任务,其中,68%的任务在引入视触觉感知后获得了更完整、连续的接触状态描述,为精细操作、力控调整与失败恢复等关键环节提供了直接增益,充分体现了视触觉数据在提升复杂操作任务成功率方面的实际价值。

白虎-VTouch 的 OpenLoong 开源选择

在 OpenLoong 社区的定位中,白虎-VTouch 并不是一个"单点能力领先"的数据集,而是一次对具身智能数据范式的系统性补位。在过去几年中,具身智能领域的快速发展更多依赖视觉、多模态语言以及仿真环境中的策略学习,但在真实世界任务中,机器人仍然普遍面临"看得见却做不好"的困境,其根源并不在模型规模,而在于真实物理交互数据的长期缺位。

白虎-VTouch 所明显不同的地方在于,它首次将高分辨率视触觉信息、真实物理接触过程以及跨机器人本体的一致标注体系放在同一个数据框架中进行系统性构建。这类数据本身具有极强的工程成本属性:高带宽同步采集、复杂标定流程、多机器人平台协同、真实场景反复复现,几乎不具备被单一团队长期独占和闭源演进的可持续性。正因如此,我们认为,这类数据如果不能进入开源生态,其价值会被极大限制。

OpenLoong 开源社区承载了白虎-VTouch 的开源发布,并不只是简单提供一个下载入口,而是将其作为社区级基础能力的一部分 进行组织。一方面,白虎-VTouch 本身补足了具身智能 Scaling Law 中长期缺失的"触觉与接触"维度,使模型训练第一次能够系统性学习接触状态、力控反馈与动作调整之间的关系;另一方面,通过开源,它也为不同研究路线、不同机器人平台、不同控制范式提供了一个可以被反复验证、复现和对比的公共基准。

我们将把白虎-VTouch 设计为一个**可被持续扩展、持续复用的具身基础语料库。**它的意义不止在于"我们已经采集了多少分钟的数据",而在于为整个社区建立了一种可复制的工程方法:如何在真实世界中稳定采集高质量视触觉数据,如何保证多模态时序对齐,如何在不同本体之间保持语义一致性。这些能力,只有通过开源,才能真正沉淀为行业公共资产。

开发者使用路径

在我们的构想之中,白虎-VTouch 的使用路径并不是"下载即结束",而是应被嵌入到一个完整的开发闭环之中。对于不同阶段的开发者,我们希望它承担的角色并不相同。

对于初入具身智能领域的研究者或工程师而言,白虎-VTouch 提供的是一个真实世界对齐的起点。开发者可以直接基于已开源的子集数据,快速理解视触觉融合在真实操作中的作用方式,验证纯视觉策略与视触觉策略在成功率和稳定性上的差异。这一阶段,数据集更多承担的是"认知校准"的作用,让开发者尽早意识到真实物理交互与仿真或纯视觉任务之间的本质差异。

对于已有一定算法积累的团队,白虎-VTouch 则是一个可复现实验与泛化验证的平台。通过矩阵式任务构建,开发者可以有意识地选择训练子空间,并在未见组合上测试模型的泛化能力,而不是简单追求单任务指标。这种使用方式尤其适合研究跨本体迁移、双臂协同策略以及力控相关问题,也是该数据集设计时重点考虑的核心场景。

更进一步来说,对于希望将算法落地到真实机器人系统中的开发者,白虎-VTouch 与 OpenLoong 现有的本体平台、控制框架及仿真工具形成了天然衔接。数据、模型与真实本体之间保持一致的接口与语义,使"训练---推理---部署"不再是割裂的三个阶段,而是一条可反复迭代的工程流水线。这一点,也是白虎-VTouch 被选择在 OpenLoong 开源社区开源发布的重要原因之一。

走进 OpenLoong 开源社区

白虎-VTouch 在 OpenLoong 开源社区完成开源后,其视触觉融合数据集、模型实现与任务组织方式已作为公共资源向社区开放,支持开发者直接下载、复现实验并开展二次开发。围绕统一的数据结构与基线设置,不同团队可以在同一操作语境下进行方法对比与系统验证,降低双臂操作研究与工程实践的起步成本。

OpenLoong 开源社区将持续汇聚来自不同机器人构形、任务场景与应用方向的实践反馈,推动数据集与模型在真实使用中不断完善,欢迎更多开发者与研究者加入 OpenLoong 开源社区,基于白虎-VTouch 数据集开展实验、提出改进并共同扩展双臂机器人视触觉融合的能力边界。

相关推荐
Juicedata4 小时前
JuiceFS 企业版 5.3 特性详解:单文件系统支持超 5,000 亿文件,首次引入 RDMA
大数据·人工智能·机器学习·性能优化·开源
熊猫钓鱼>_>4 小时前
【开源鸿蒙跨平台开发先锋训练营】Day 19: 开源鸿蒙React Native动效体系构建与混合开发复盘
react native·华为·开源·harmonyos·鸿蒙·openharmony
向哆哆5 小时前
构建健康档案管理快速入口:Flutter × OpenHarmony 跨端开发实战
flutter·开源·鸿蒙·openharmony·开源鸿蒙
FIT2CLOUD飞致云5 小时前
赛道第一!1Panel成功入选Gitee 2025年度开源项目
服务器·ai·开源·1panel
向哆哆6 小时前
构建智能健康档案管理与预约挂号系统:Flutter × OpenHarmony 跨端开发实践
flutter·开源·鸿蒙·openharmony·开源鸿蒙
向哆哆6 小时前
Flutter × OpenHarmony:打造校园勤工俭学个人中心界面实战
flutter·开源·鸿蒙·openharmony
开源能源管理系统6 小时前
开源筑基,智领零碳:MyEMS 赋能零碳工厂全周期转型新实践
大数据·开源·能源·能源管理系统·零碳工厂
CoderJia程序员甲6 小时前
GitHub 热榜项目 - 日榜(2026-01-30)
开源·大模型·llm·github·ai教程
熊猫钓鱼>_>6 小时前
【开源鸿蒙跨平台开发先锋训练营】鸿蒙应用开发 Day 10 - React Native for OpenHarmony 实战:多端响应式布局与高可用交互设计
华为·开源·交互·harmonyos·鸿蒙·rn·gridrow
昇腾CANN7 小时前
DeepSeek-V3.2-Exp高吞吐优化实践
开源·昇腾·cann