全尺寸人形机器人灵巧手力觉触觉数据集：2908条ROSbag数据覆盖14大应用场景的深度解析
引言
随着人形机器人技术的快速发展，灵巧手作为人机交互的核心执行器官，其力觉与触觉感知能力直接决定了机器人完成精细操作任务的质量。全尺寸人形机器人灵巧手力觉触觉数据集（LET-Dex-Dataset）的构建填补了国内在高精度灵巧手多模态数据采集领域的空白，为机器人操作技能学习、触觉感知算法研发、力控策略优化等研究提供了重要的数据基础设施。本数据集基于乐聚机器人Kuavo 4 Pro人形平台搭配Linker Hand L6灵巧手进行真实场景数据采集，累计收录约2908条ROSbag轨迹数据，覆盖14个工业与生活应用场景，包含超过8400个步骤级标注和14种原子技能，总操作时长约20小时，数据规模达707GB。
数据集的完整内容构成包括多模态原始数据文件和精细化语义标注两大部分。原始数据方面，每条ROSbag文件完整记录了机器人运行过程中的触觉阵列数据、六维力矩数据、三视角RGB-D视觉数据、手部关节状态数据、手臂轨迹数据以及全传感器原始数据等多达十余种异构模态信息。语义标注方面，每条轨迹配备了轨迹级元信息（包含任务名称、场景分类、设备序列号等）和步骤级marks数组（包含动作技能类型、技能详细描述、中英文双语标注、时间戳与位置信息），形成了层次化的标注结构。这种"原始多模态数据+语义标注"的组织方式使数据集既能支持基于原始信号的感知算法研究，也能支持基于高层语义的技能学习与推理任务。
本数据集对于推动人形机器人技术在工业制造、物流配送、家庭服务等领域的应用落地具有重要的科研价值和产业意义。在科研层面，数据集可用于灵巧手抓取策略学习、触觉感知与力控算法研发、多模态融合操作技能迁移等研究。在产业层面，数据集可为机器人厂商提供标准化的训练数据基准，加速人形机器人从实验室走向实际应用场景的进程。
获取数据请私信
数据基本信息
数据字段说明
数据集每条轨迹记录的完整字段结构如下表所示，涵盖轨迹级元信息和步骤级标注信息两大类别。
| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---|---|---|---|---|
| location | 字符串 | 数据采集地点 | "北京训练场-A10" | 部分缺失（约50%为空） |
| primaryScene | 字符串 | 一级场景分类 | "家庭生活-H" | 部分缺失 |
| primarySceneCode | 字符串 | 一级场景英文代码 | "FAMILY LIFE - H" | 部分缺失 |
| secondaryScene | 字符串 | 二级场景分类 | "清洁整理-C" | 部分缺失 |
| secondarySceneCode | 字符串 | 二级场景英文代码 | "CLEANING - C" | 部分缺失 |
| tertiaryScene | 字符串 | 三级场景细分 | "餐桌清洁-05" | 部分缺失 |
| tertiarySceneCode | 字符串 | 三级场景英文代码 | "Table cleaning-05" | 部分缺失 |
| initSceneText | 字符串 | 场景中文描述 | "工装上料" | 完整 |
| englishInitSceneText | 字符串 | 场景英文描述 | "Load it up" | 完整 |
| taskGroupName | 字符串 | 任务组名称 | "" | 全部为空 |
| taskGroupCode | 字符串 | 任务组代码 | "" | 全部为空 |
| taskName | 字符串 | 任务中文名称 | "灵心巧手桌面物品整理" | 完整 |
| taskCode | 字符串 | 任务代码 | "TQ_20_01" | 完整 |
| deviceSn | 字符串 | 设备序列号 | "p4-353" | 完整 |
| taskPrompt | 字符串 | 任务提示词 | "" | 全部为空 |
| marks | 数组 | 步骤级标注数组 | 包含多个step对象 | 部分缺失 |
步骤级marks数组中的每个step对象包含以下字段：
| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---|---|---|---|---|
| taskId | 字符串 | 任务唯一标识 | "2001489017564172288" | 部分缺失 |
| markStart | 字符串 | 步骤开始时间 | "2025-12-19 10:38:48.719" | 完整 |
| markEnd | 字符串 | 步骤结束时间 | "2025-12-19 10:38:58.802" | 完整 |
| duration | 浮点数 | 步骤持续时长（秒） | 10.083 | 完整 |
| startPosition | 浮点数 | 起始位置归一化值 | 0.0017753813694877166 | 完整 |
| endPosition | 浮点数 | 结束位置归一化值 | 0.18258613462251694 | 完整 |
| skillAtomic | 字符串 | 原子技能类型 | "pick up" | 完整 |
| skillDetail | 字符串 | 技能详细中文描述 | "初始双手置于胸前。右手将桌面的抹布拿起" | 完整 |
| enSkillDetail | 字符串 | 技能详细英文描述 | "initial hands on the chest..." | 完整 |
| markType | 字符串 | 标注类型 | "step" | 完整 |
数据规模与覆盖范围
本数据集在规模与覆盖范围上具有显著优势，具体统计如下表所示：
| 维度 | 数量 |
|---|---|
| 任务目录数量 | 14 |
| ROSbag轨迹数据 | 2908 条 |
| 步骤级marks标注 | 8405 个 |
| 原子技能种类 | 14 |
| 累计操作时长 | 约 20 小时（72282.7 秒） |
| 数据总容量 | 约 707 GB |
| 数据格式 | ROSbag + JSON语义标注 |
| 末端执行器 | Linker Hand L6 灵巧手 |
| 触觉传感器规格 | 6×12×5指尖阵列，360触觉单元 |
任务场景分布
数据集涵盖14个应用任务场景，覆盖工业制造、物流配送、快消品处理、家庭服务等多个领域。各任务的数据分布情况如下表所示：
| 任务目录 | 中文名称 | 场景领域 | 轨迹数量 | 步骤数 | 操作时长 |
|---|---|---|---|---|---|
| Unilever_FMCG_Standard_Feeding-P4-Linker_Hand_L6 | 快消品标准上料（联合利华） | 快消品 | 288 | 1120 | 487.8 min |
| Toothpaste_Box_Feeding-P4-Linker_Hand_L6 | L6机械臂-牙膏盒上料 | 快消品 | 298 | 0 | 71.0 min |
| Load_it_up-P4-Linker_Hand_L6 | 汽车钣金上料 | 汽车工厂 | 281 | 281 | 31.1 min |
| Water_Bottle_Delivery-P4-Linker_Hand_L6 | L6机械臂-递水瓶 | 家庭服务 | 279 | 0 | 51.0 min |
| Package_scan-P4-Linker_Hand_L6 | 顺丰快递扫码 | 物流 | 276 | 1736 | 106.1 min |
| Push_The_Cardboard_Box_To_The_Position_With_Resistance-P4-Linker_Hand_L6 | 基于6维力的推纸箱 | 汽车工厂 | 272 | 0 | 126.0 min |
| Wipe_The_Blackboard-P4-Linker_Hand_L6 | L6机械臂-擦黑板 | 生活服务 | 250 | 251 | 30.9 min |
| Toothpaste_Box_Storage_02-P4-Linker_Hand_L6 | L6机械臂-牙膏盒收纳 | 快消品 | 250 | 0 | 22.0 min |
| SF_Express_Parcel_Sorting-P4-Linker_Hand_L6 | 灵心巧手顺丰包裹分拣 | 物流 | 198 | 1227 | 77.7 min |
| Toothpaste_Box_Storage_01-P4-Linker_Hand_L6 | L6机械臂-牙膏盒收纳 | 快消品 | 214 | 0 | 28.0 min |
| Smart_postal_packages-P4-Linker_Hand_L6 | 灵心巧手邮政包裹分拣 | 物流 | 121 | 505 | 32.4 min |
| Task_mass_check-P4-Linker_Hand_L6 | 舍弗勒产品质检 | 工业质检 | 95 | 582 | 53.9 min |
| Smartandfast-forward-P4-Linker_Hand_L6 | 灵心巧手快消品标准上料 | 快消品 | 69 | 705 | 67.2 min |
| Clean-up_desktop_items-P4-Linker_Hand_L6 | 灵心巧手桌面物品整理 | 家庭服务 | 17 | 157 | 16.6 min |
从任务分布来看，快消品相关任务的数据量最大（合计1119条轨迹），其次是物流场景（合计595条）和汽车工厂场景（合计553条）。家庭服务场景虽然轨迹数量相对较少，但单条轨迹的步骤数较多，平均操作时长较长，体现出生活场景操作的复杂性特征。
原子技能分布
数据集包含14种原子技能，涵盖抓取、放置、按压、扫描、擦拭、等待等机器人操作的核心动作单元。各技能的分布情况如下表所示：
| 原子技能 | 出现次数 | 总时长（秒） | 平均时长（秒） | 说明 |
|---|---|---|---|---|
| capture | 3,476 | 41,950.5 | 12.07 | 抓取/捕获操作 |
| placement | 2,625 | 10,375.4 | 3.95 | 放置操作 |
| fall back | 379 | 752.0 | 1.98 | 回退动作 |
| pick up | 358 | 2,706.9 | 7.56 | 拾取操作 |
| peace | 291 | 697.5 | 2.40 | 平稳操作 |
| press | 283 | 540.4 | 1.91 | 按压操作 |
| wipe | 251 | 1,851.3 | 7.38 | 擦拭操作 |
| wait | 216 | 427.2 | 1.98 | 等待动作 |
| plot | 198 | 599.9 | 3.03 | 轨迹规划 |
| scanning | 121 | 289.6 | 2.39 | 扫描操作 |
| catch | 82 | 562.8 | 6.86 | 接取操作 |
| initial | 69 | 113.3 | 1.64 | 初始位姿 |
| adjustment | 49 | 428.1 | 8.74 | 调整/校准 |
| set | 36 | 156.7 | 4.35 | 就位设置 |
从技能分布来看，capture（抓取）和placement（放置）是最主要的两类技能，合计出现6101次，占总技能执行次数的72.6%，这与人形机器人执行操作任务时"抓取-搬运-放置"的典型动作模式相符。wipe（擦拭）、pick up（拾取）等技能的出现频次相对较低，但平均执行时长较长，反映出这些技能需要更精细的力控与视觉协同。
设备分布
数据采集使用了4台不同序列号的人形机器人设备，各设备的数据贡献量如下表所示：
| 设备序列号 | 轨迹数量 | 占比 |
|---|---|---|
| P4-338 | 1,308 | 45.0% |
| P4-357 | 910 | 31.3% |
| p4-353 | 416 | 14.3% |
| P4-347 | 274 | 9.4% |
设备P4-338贡献了近半数的数据量，是主要的数据采集平台。设备间的数据量差异反映了不同设备投入采集实验的时间安排和任务分配情况。
场景领域分布
从一级场景分类来看，数据主要集中在工业制造场景，占比约95.8%，家庭生活场景约占4.2%。从二级场景分类来看，生产物流场景占比最高，这与数据集大量覆盖物流分拣、快递扫码、物品上料等任务的设计目标一致。
获取数据请私信
数据优势
本数据集在多个维度上展现出显著优势，为人形机器人操作技能学习研究提供了高质量的数据基础。具体优势特征如下表所示：
| 优势特征 | 具体表现 | 应用价值 |
|---|---|---|
| 多模态完整采集 | 触觉阵列（360单元）、六维力矩、三视角RGB-D、手部关节状态等十余种异构模态同步记录 | 支持多模态感知融合算法研究，构建更鲁棒的感知决策系统 |
| 高精度力觉触觉感知 | 6×12×5指尖触觉阵列，360个独立触觉单元实时感知；六维力/力矩（Fxyz+Mxyz）精确测量 | 支撑灵巧手精细力控算法研发，提升机器人操作物体的稳定性和适应性 |
| 丰富的原子技能库 | 14种原子技能（capture、placement、pick up、press、wipe等）共8400+次标注 | 为技能分解与组合学习提供充足样本，支持技能迁移与泛化研究 |
| 多场景覆盖 | 14个任务目录覆盖汽车制造、物流快递、工业质检、快消品处理、家庭服务等场景 | 支持跨场景技能迁移学习，提升模型的泛化能力和实用性 |
| 大规模真实数据 | 2908条ROSbag轨迹，约707GB数据量，约20小时操作时长 | 为深度学习模型提供充足的训练样本，确保模型收敛效果 |
| 完整原始ROSbag文件 | 每条轨迹包含完整的ROSbag原始数据文件 | 支持基于完整原始信号的前沿算法研究，非仅元数据可用 |
| 精细化语义标注 | 轨迹级元信息+步骤级marks数组，中英文双语标注 | 支持技能推理、任务规划、高层语义分析等研究 |
| 开源工具链支持 | 提供kuavo_data_challenge完整工具链（rosbag转换、Diffusion Policy/ACT基线、训练推理部署） | 降低使用门槛，开箱即用，加速研究进展 |
| 多设备采集数据 | 4台设备（P4-338、P4-357、p4-353、P4-347）协同采集 | 支持设备间差异分析，提升算法对不同硬件平台的适应性 |
本数据集特别强调其包含完整的ROSbag原始数据文件，每条轨迹不仅包含语义标注，还包含触觉阵列点云、六维力矩数据、RGB-D图像序列、手部关节状态等完整的原始传感器数据。这些原始数据对于研发基于深度学习的触觉感知算法、力控策略优化、多模态融合技能学习等前沿研究至关重要。
数据样例
以下展示数据集中各类型数据的样例，涵盖不同任务场景、不同技能类型、不同设备来源的多样性特征。
元数据与语义标注样例（桌面物品整理任务）：
json
{
"location": "北京训练场-A10",
"primaryScene": "家庭生活-H",
"primarySceneCode": "FAMILY LIFE - H",
"secondaryScene": "清洁整理-C",
"secondarySceneCode": "CLEANING - C",
"tertiaryScene": "餐桌清洁-05",
"tertiarySceneCode": "Table cleaning-05",
"initSceneText": "餐桌清洁",
"englishInitSceneText": "Table cleaning",
"taskName": "灵心巧手桌面物品整理",
"taskCode": "Clean-up desktop items",
"deviceSn": "p4-353",
"marks": [
{
"taskId": "2001489017564172288",
"markStart": "2025-12-19 10:38:48.719",
"markEnd": "2025-12-19 10:38:58.802",
"duration": 10.083,
"startPosition": "0.0017753813694877166",
"endPosition": "0.18258613462251694",
"skillAtomic": "pick up",
"skillDetail": "初始双手置于胸前。右手将桌面的抹布拿起",
"enSkillDetail": "initial hands on the chest. right hand picks up the rag of the desktop",
"markType": "step"
},
{
"taskId": "2001489017564172288",
"markStart": "2025-12-19 10:38:58.802",
"markEnd": "2025-12-19 10:39:01.808",
"duration": 3.006,
"startPosition": "0.18258613462251694",
"endPosition": "0.23649765320502625",
"skillAtomic": "placement",
"skillDetail": "根据物品种类将抹布放置在右手边的收纳箱中",
"enSkillDetail": "place the rag in the box on the right side according to the type of item",
"markType": "step"
}
]
}元数据与语义标注样例（汽车钣金上料任务）：
json
{
"location": "",
"primaryScene": "",
"primarySceneCode": "",
"secondaryScene": "",
"secondarySceneCode": "",
"tertiaryScene": "",
"tertiarySceneCode": "",
"initSceneText": "工装上料",
"englishInitSceneText": "Load it up",
"taskGroupName": "",
"taskGroupCode": "",
"taskName": "汽车钣金上料",
"taskCode": "TQ_20_01",
"deviceSn": "p4-353",
"taskPrompt": "",
"marks": [
{
"taskId": "",
"markStart": "2026-04-01 13:39:16.627",
"markEnd": "2026-04-01 13:39:24.208",
"duration": 7.581,
"startPosition": 0.004929577705213358,
"endPosition": 1.0,
"skillAtomic": "placement",
"skillDetail": "用手将钣金件放置在支架上",
"enSkillDetail": "put the gold on the shelf with your hands",
"markType": "step"
}
]
}元数据与语义标注样例（擦黑板任务）：
json
{
"location": "",
"primaryScene": "",
"primarySceneCode": "",
"secondaryScene": "",
"secondarySceneCode": "",
"tertiaryScene": "",
"tertiarySceneCode": "",
"initSceneText": "待描述",
"englishInitSceneText": "To be described",
"taskGroupName": "",
"taskGroupCode": "",
"taskName": "L6机械臂-擦黑板",
"taskCode": "TQ_01_01",
"deviceSn": "P4-357",
"taskPrompt": "",
"marks": [
{
"taskId": "",
"markStart": "2026-03-23 10:01:33.989",
"markEnd": "2026-03-23 10:01:42.710",
"duration": 8.721,
"startPosition": 0.011225157738620786,
"endPosition": 1.0,
"skillAtomic": "wipe",
"skillDetail": "用黑板擦擦拭白板",
"enSkillDetail": "wipe the whiteboard with the blackboard",
"markType": "step"
}
]
}技能类型多样性样例：
| 技能类型 | 样例描述 | 所属任务 |
|---|---|---|
| capture | "用左手抓住纸巾" | 灵心巧手桌面物品整理 |
| placement | "将抓取的物品放入收纳箱" | 灵心巧手顺丰包裹分拣 |
| pick up | "右手将桌面的圆形海绵球物品拿起" | 灵心巧手桌面物品整理 |
| press | "用手按压工件确保定位准确" | 汽车钣金上料 |
| wipe | "用黑板擦擦拭白板" | L6机械臂-擦黑板 |
| scanning | "用扫描枪扫描快递面单" | 顺丰快递扫码 |
| peace | "将物品平稳放置在传送带上" | 快消品标准上料（联合利华） |
| wait | "等待下一件物品到达" | 舍弗勒产品质检 |
| fall back | "结束时双手重新置于胸前" | 灵心巧手桌面物品整理 |
上述样例展示了数据集在任务场景、技能类型、操作对象等方面的多样性特征。每条样例均包含中英文双语标注，便于开展跨语言机器人操作技能学习研究。
应用场景
基于多模态感知融合的灵巧手抓取策略学习
本数据集包含360单元指尖触觉阵列和六维力矩传感器的完整原始数据，可用于研发基于多模态感知融合的灵巧手抓取策略学习系统。在实际物流分拣、工业上料等场景中，机器人需要根据物体形状、材质、重量等特征动态调整抓取力度和手指姿态。本数据集记录的触觉矩阵数据（PointCloud2格式）和力矩数据（WrenchStamped格式）为训练能够感知接触力分布的自适应抓取模型提供了充足的样本支持。研究者可以利用触觉数据训练接触预测模型，结合力矩数据优化抓取力度选择策略，从而实现更稳定、更柔顺的抓取操作。
工业制造场景下的精细操作技能迁移
数据集涵盖汽车制造领域的钣金上料、推纸箱等典型任务，以及工业质检场景下的产品检测操作。这些任务对机器人的操作精度和力控能力提出了较高要求。通过分析数据集中学员执行这些任务时的手臂轨迹数据（JointState格式）和灵巧手状态数据，研究者可以提取适用于不同工业场景的技能迁移模型。例如，从钣金上料任务中学习到的精确放置技能可以迁移到其他需要高精度定位的工业场景，如电子产品装配、精密零件组装等。数据集提供的异构多模态数据使得跨任务、跨场景的技能迁移学习成为可能。
触觉感知引导的力控算法研究与验证
Linker Hand L6灵巧手配备的6×12×5指尖触觉阵列能够实时感知360个触觉单元的压力分布，这种高密度触觉感知能力为力控算法研究提供了独特的数据支持。在本数据集的擦拭（wipe）、按压（press）等技能标注中，可以清晰地看到机器人末端执行器与物体表面交互时的触觉反馈模式。通过分析这些触觉序列数据，研究者可以研发基于触觉反馈的力控算法，实现对接触力的实时监测和精准调节。这类算法在需要人机物理交互的场景（如辅助穿衣、康复训练）中具有重要的应用价值。
多视角视觉信息融合的机器人操作任务规划
数据集同时记录了头部、左腕、右腕三个视角的RGB-D图像数据（CompressedImage格式），这种多视角同步采集的设计为视觉引导的机器人操作任务规划研究提供了丰富的数据支撑。在实际应用中，单一视角往往难以获取目标物体的完整空间信息，多视角融合可以显著提升位姿估计和空间理解的准确性。研究者可以利用本数据集中的多视角图像序列训练视点融合网络，学习如何整合不同视角的视觉信息来指导机器人完成复杂的操作任务，如从杂乱环境中精确抓取特定物体、基于视觉反馈调整操作路径等。
人形机器人家庭服务场景技能库构建
数据集涵盖桌面物品整理、递送水瓶等家庭服务场景的任务数据，这些场景要求机器人具备在非结构化环境中完成日常操作的能力。通过分析这些任务中的技能执行序列（如pick up、placement等原子技能的组合模式），可以构建适用于家庭服务场景的技能库系统。该技能库可以支持机器人在家庭环境中执行物品整理、桌面清洁、递送物品等服务任务，提升人形机器人在日常生活场景中的实用性和自主性。
基于轨迹数据的模仿学习与强化学习训练
本数据集提供的约20小时操作轨迹数据包含丰富的手臂关节轨迹、灵巧手关节状态和步骤级语义标注，可用于支持模仿学习和强化学习算法的训练。轨迹数据中的JointState格式手臂轨迹和robotHandPosition格式手部位置数据记录了专家执行操作时的精确运动模式，可作为模仿学习的示范样本。同时，marks数组中的步骤边界、持续时间等信息可用于设计奖励函数，支持强化学习算法的策略优化。基于本数据集训练的模型可以在物流分拣、工业上料等任务中实现较高的成功率，为人形机器人的实际应用奠定算法基础。
机器人遥操作与远程控制技术研发
本数据集基于遥操作方式采集，机器人执行的动作由操作员远程控制完成。这种采集方式产生的轨迹数据可用于研发低延迟、高精度的机器人遥操作系统。在遥操作场景中，操作员的控制指令需要实时传输到机器人端，同时机器人的感知信息需要反馈给操作员辅助决策。本数据集记录的多模态感知数据（触觉、力矩、视觉、关节状态等）为构建多模态反馈的遥操作系统提供了数据基础，可用于研究如何通过触觉反馈增强操作员的空间感知能力，从而提升遥操作任务的执行效率和控制精度。
结尾
全尺寸人形机器人灵巧手力觉触觉数据集（LET-Dex-Dataset）作为国内首个大规模多模态灵巧手操作数据集，在数据规模、模态丰富度、场景覆盖度和标注精细度等方面均达到了较高水准。数据集以乐聚机器人Kuavo 4 Pro和Linker Hand L6灵巧手为采集平台，累计收录2908条ROSbag轨迹数据，覆盖14个应用任务场景，包含8405个步骤级标注和14种原子技能，总操作时长约20小时，数据规模达707GB。数据集的独特优势在于包含完整的ROSbag原始多模态数据文件，包括360单元触觉阵列点云、六维力矩数据、三视角RGB-D图像、手部关节状态等十余种异构模态信息，为基于原始信号的前沿感知与控制算法研究提供了坚实的数据基础。
本数据集的核心价值体现在三个方面：一是多模态完整采集的优势使得跨模态感知融合、力触觉协同控制等综合型算法研究成为可能；二是丰富的原子技能库和多样化的应用场景为技能分解、组合与迁移学习研究提供了充足样本；三是开源工具链的支持大幅降低了数据集的使用门槛，加速了从数据到算法的转化效率。随着人形机器人技术的持续发展，本数据集将为推动灵巧手操作技能学习、触觉感知算法研发、力控策略优化等领域的进步提供重要的数据支撑。有需要可私信获取更多信息。