最近,一个开源数据工具更新了。
它没有推出更快的画框功能,也没有强调"一键自动标注"。
它做了一件看起来不性感、但对具身智能非常重要的事:把机器人不同摄像头拍到的视频、每一帧对应的动作、关节状态以及传感器数据,放到同一条时间线上。
过去,我们打开数据标注工具,看到的是一张图片、一段视频。
现在,工具开始尝试理解:机器人在这一秒看到了什么,下一秒执行了什么动作,机械臂移动到了哪里,这次操作最终是成功了,还是失败了。
这意味着,数据标注工具正在从"看懂一帧图片",升级为"读懂一段机器人行为"。
一、机器人数据,根本不是一段视频
很多人以为,具身智能数据采集,就是给机器人装几个摄像头,然后让操作员控制机器人叠衣服、抓杯子、整理货架。
一套动作录下来,就是一条训练数据。
但真正拿到数据以后,你会发现事情没有这么简单。
一个机器人完成一次抓取任务,可能同时产生:
-
正面摄像头视频、手腕摄像头视频、深度图和点云;
-
机械臂关节状态、末端执行器的位置、夹爪开合信息;
-
控制指令和动作序列、力、触觉、声音等传感器信号;
-
任务开始、结束和异常时间戳
这些数据往往分散在不同文件里。
视频在MP4里,动作在CSV或者Parquet里,任务说明在JSON里,点云又是另一种格式。

FiftyOne分组数据界面
真正困难的不是"有没有采到",而是:这些数据能不能对上。
-
视频里的杯子刚刚被碰倒时,机器人执行了哪个动作?
-
夹爪闭合的那一帧,关节角度是多少?
-
任务失败,是视觉识别错了、动作规划错了,还是执行过程中发生了滑落?
如果时间戳对不齐,一段看起来完整的数据,对模型来说可能就是一堆无法理解的文件。
二、 一个工具开始把它们放到一起
9月11日,开源视觉数据工具FiftyOne发布了1.22.0版本。
这次更新中,一个值得数据标注行业关注的变化,是它开始原生支持LeRobot v3数据集。
在新的Episode Viewer里,使用者可以同步播放多个摄像头画面,并逐帧查看机器人当时的状态值和动作值。

视频、音频、动作、状态和时间标签,可以在同一条时间线上查看。
多组点云数据,也可以根据坐标变换关系进行对齐。
过去,项目人员可能需要分别打开视频播放器、CSV表格和点云工具,再靠时间戳手动寻找同一个动作。
现在,这些数据正在被放进一个统一的数据界面里。
需要特别说明的是,FiftyOne的开源版本已经加入LeRobot v3数据读取、多摄像头同步浏览、状态与动作查看等能力;它的企业版还进一步加入了多模态Embedding、标注产能指标、工作流管理和内置Agent等商业功能。

不能把所有企业版能力都理解成免费开源。
但这次更新释放出的趋势已经非常明确:数据工具正在适应具身智能,而不再只服务于传统图片和视频标注。
三、数据单位,正在从"一帧"变成"一段行为"
传统视觉标注的基本单位通常是一张图片或者一帧视频。
-
这一帧里有没有车?
-
行人在哪里?
-
车道线怎么画?
但训练机器人,仅仅知道一帧里有什么远远不够。
机器人需要知道的是:
-
看到这种状态以后,下一步应该采取什么动作;
-
动作执行以后,环境发生了什么变化;
-
如果失败了,错误发生在哪个阶段。
所以,具身智能的数据单位不再只是一张图片,而是一个Episode。

你可以把Episode理解成机器人完成一次任务的完整过程:从收到任务、观察环境、规划动作,到开始执行、持续调整,最后成功或者失败。
例如,同样是"把杯子放到桌子上",至少可能包含:识别杯子、接近杯子、调整夹爪、抓取、抬起、移动、对准、放下、松开、撤离。
其中任何一个环节出现问题,整条数据的价值都会发生变化。
未来的数据工具,不只是要告诉我们"这里有一只杯子",还要告诉我们:机器人在哪一步抓住了杯子,在哪一步发生了偏移,又在哪一步导致了任务失败。
这才是具身数据真正需要的标注能力。
四、 被替代的,不只是画框
当视频、动作和传感器数据自动完成对齐以后,一部分过去依赖人工完成的工作会被工具接管。
比如:
-
人工核对多个视频时间戳;
-
逐帧寻找动作开始和结束位置;
-
在不同文件之间来回切换;
-
手工整理摄像头、动作和状态数据;
重复检查数据有没有错位、缺帧和断流。
但这不代表具身数据不再需要人工。
恰恰相反,人的工作会向更高阶的位置移动。
过去,标注员负责回答:这一帧里是什么?
未来,标注员可能需要回答:
-
这次抓取为什么失败?
-
机器人在哪个阶段偏离了正确轨迹?
-
这段动作是否值得进入训练集?
-
失败数据应该删除,还是作为反例保留?
-
同一个任务的多条轨迹中,哪一条执行效率最高?
工具负责对齐数据,人负责理解行为。
工具越强,人的判断反而越接近模型训练本身。
五、 标注公司需要补的,不是另一个画框工具
这次更新对数据标注公司的真正提醒是:未来接具身智能项目,只会组织操作员和管理采集工时还不够。
至少还要补三种能力。
第一,理解机器人数据结构。
要知道什么是Episode、Observation、Action、State和多传感器同步,理解视频、点云、动作轨迹之间的关系。
第二,建立时序质量体系。
传统项目检查漏标、错标和框偏了多少。
具身项目还要检查时间戳漂移、动作与画面错位、传感器缺失、任务阶段切分错误以及成功失败判定是否准确。
第三,改变数据交付方式。
未来客户需要的可能不再是一个装满视频和表格的文件夹,而是一套能够直接加载、回放、检索、筛选和训练的数据集。
交付标准也可能从"采了多少小时",变成:
-
有多少完整Episode;
-
其中多少条可以直接训练;
-
失败数据有没有被正确归因;
-
不同设备、场景和任务之间是否能够复用。
这会直接改变具身数据项目的报价方式和验收逻辑。
结尾
从CVAT增加自动质检,到X-AnyLabeling打通标注和训练,再到FiftyOne开始支持LeRobot多模态数据,开源工具正在沿着同一个方向进化:它们不再满足于帮助人把数据标完,而是开始管理数据进入模型之前的完整过程。
过去的数据标注工具,只需要读懂图片。
现在,它要读懂机器人的一次动作。
未来,它还要判断这次动作有没有训练价值,以及应该进入哪一轮模型训练。
所以,具身智能真正带来的变化,不只是标注对象从汽车变成了机器人。
更重要的是,数据的基本单位正在从"一帧图片",变成"一段可以被回放、理解和复用的行为"。
当工具开始读懂机器人,数据标注公司也该重新思考:我们交付的究竟是一批文件,还是机器人的一段经验?
我是AI数据标注猿刘吉,
跟着我,用数据视角看AI世界。