开源视觉数据工具FiftyOne最新版本:标注工具开始“读懂机器人”

最近,一个开源数据工具更新了。

它没有推出更快的画框功能,也没有强调"一键自动标注"。

它做了一件看起来不性感、但对具身智能非常重要的事:把机器人不同摄像头拍到的视频、每一帧对应的动作、关节状态以及传感器数据,放到同一条时间线上。

过去,我们打开数据标注工具,看到的是一张图片、一段视频。

现在,工具开始尝试理解:机器人在这一秒看到了什么,下一秒执行了什么动作,机械臂移动到了哪里,这次操作最终是成功了,还是失败了。

这意味着,数据标注工具正在从"看懂一帧图片",升级为"读懂一段机器人行为"。

一、机器人数据,根本不是一段视频

很多人以为,具身智能数据采集,就是给机器人装几个摄像头,然后让操作员控制机器人叠衣服、抓杯子、整理货架。

一套动作录下来,就是一条训练数据。

但真正拿到数据以后,你会发现事情没有这么简单。

一个机器人完成一次抓取任务,可能同时产生:

  • 正面摄像头视频、手腕摄像头视频、深度图和点云;

  • 机械臂关节状态、末端执行器的位置、夹爪开合信息;

  • 控制指令和动作序列、力、触觉、声音等传感器信号;

  • 任务开始、结束和异常时间戳

这些数据往往分散在不同文件里。

视频在MP4里,动作在CSV或者Parquet里,任务说明在JSON里,点云又是另一种格式。

FiftyOne分组数据界面

真正困难的不是"有没有采到",而是:这些数据能不能对上。

  • 视频里的杯子刚刚被碰倒时,机器人执行了哪个动作?

  • 夹爪闭合的那一帧,关节角度是多少?

  • 任务失败,是视觉识别错了、动作规划错了,还是执行过程中发生了滑落?

如果时间戳对不齐,一段看起来完整的数据,对模型来说可能就是一堆无法理解的文件。

二、 一个工具开始把它们放到一起

9月11日,开源视觉数据工具FiftyOne发布了1.22.0版本。

这次更新中,一个值得数据标注行业关注的变化,是它开始原生支持LeRobot v3数据集。

在新的Episode Viewer里,使用者可以同步播放多个摄像头画面,并逐帧查看机器人当时的状态值和动作值。

视频、音频、动作、状态和时间标签,可以在同一条时间线上查看。

多组点云数据,也可以根据坐标变换关系进行对齐。

过去,项目人员可能需要分别打开视频播放器、CSV表格和点云工具,再靠时间戳手动寻找同一个动作。

现在,这些数据正在被放进一个统一的数据界面里。

需要特别说明的是,FiftyOne的开源版本已经加入LeRobot v3数据读取、多摄像头同步浏览、状态与动作查看等能力;它的企业版还进一步加入了多模态Embedding、标注产能指标、工作流管理和内置Agent等商业功能。

不能把所有企业版能力都理解成免费开源。

但这次更新释放出的趋势已经非常明确:数据工具正在适应具身智能,而不再只服务于传统图片和视频标注。

三、数据单位,正在从"一帧"变成"一段行为"

传统视觉标注的基本单位通常是一张图片或者一帧视频。

  • 这一帧里有没有车?

  • 行人在哪里?

  • 车道线怎么画?

但训练机器人,仅仅知道一帧里有什么远远不够。

机器人需要知道的是:

  • 看到这种状态以后,下一步应该采取什么动作;

  • 动作执行以后,环境发生了什么变化;

  • 如果失败了,错误发生在哪个阶段。

所以,具身智能的数据单位不再只是一张图片,而是一个Episode。

你可以把Episode理解成机器人完成一次任务的完整过程:从收到任务、观察环境、规划动作,到开始执行、持续调整,最后成功或者失败。

例如,同样是"把杯子放到桌子上",至少可能包含:识别杯子、接近杯子、调整夹爪、抓取、抬起、移动、对准、放下、松开、撤离。

其中任何一个环节出现问题,整条数据的价值都会发生变化。

未来的数据工具,不只是要告诉我们"这里有一只杯子",还要告诉我们:机器人在哪一步抓住了杯子,在哪一步发生了偏移,又在哪一步导致了任务失败。

这才是具身数据真正需要的标注能力。

四、 被替代的,不只是画框

当视频、动作和传感器数据自动完成对齐以后,一部分过去依赖人工完成的工作会被工具接管。

比如:

  • 人工核对多个视频时间戳;

  • 逐帧寻找动作开始和结束位置;

  • 在不同文件之间来回切换;

  • 手工整理摄像头、动作和状态数据;

重复检查数据有没有错位、缺帧和断流。

但这不代表具身数据不再需要人工。

恰恰相反,人的工作会向更高阶的位置移动。

过去,标注员负责回答:这一帧里是什么?

未来,标注员可能需要回答:

  • 这次抓取为什么失败?

  • 机器人在哪个阶段偏离了正确轨迹?

  • 这段动作是否值得进入训练集?

  • 失败数据应该删除,还是作为反例保留?

  • 同一个任务的多条轨迹中,哪一条执行效率最高?

工具负责对齐数据,人负责理解行为。

工具越强,人的判断反而越接近模型训练本身。

五、 标注公司需要补的,不是另一个画框工具

这次更新对数据标注公司的真正提醒是:未来接具身智能项目,只会组织操作员和管理采集工时还不够。

至少还要补三种能力。

第一,理解机器人数据结构。

要知道什么是Episode、Observation、Action、State和多传感器同步,理解视频、点云、动作轨迹之间的关系。

第二,建立时序质量体系。

传统项目检查漏标、错标和框偏了多少。

具身项目还要检查时间戳漂移、动作与画面错位、传感器缺失、任务阶段切分错误以及成功失败判定是否准确。

第三,改变数据交付方式。

未来客户需要的可能不再是一个装满视频和表格的文件夹,而是一套能够直接加载、回放、检索、筛选和训练的数据集。

交付标准也可能从"采了多少小时",变成:

  • 有多少完整Episode;

  • 其中多少条可以直接训练;

  • 失败数据有没有被正确归因;

  • 不同设备、场景和任务之间是否能够复用。

这会直接改变具身数据项目的报价方式和验收逻辑。

结尾

从CVAT增加自动质检,到X-AnyLabeling打通标注和训练,再到FiftyOne开始支持LeRobot多模态数据,开源工具正在沿着同一个方向进化:它们不再满足于帮助人把数据标完,而是开始管理数据进入模型之前的完整过程。

过去的数据标注工具,只需要读懂图片。

现在,它要读懂机器人的一次动作。

未来,它还要判断这次动作有没有训练价值,以及应该进入哪一轮模型训练。

所以,具身智能真正带来的变化,不只是标注对象从汽车变成了机器人。

更重要的是,数据的基本单位正在从"一帧图片",变成"一段可以被回放、理解和复用的行为"。

当工具开始读懂机器人,数据标注公司也该重新思考:我们交付的究竟是一批文件,还是机器人的一段经验?

我是AI数据标注猿刘吉,

跟着我,用数据视角看AI世界。

相关推荐
合众恒跃3 小时前
合众恒跃具身机器人嵌入式AI解决方案
人工智能·机器人·rk3588·jetson·英伟达·瑞芯微·rk3576
hey you~3 小时前
医疗器械门店语音机器人,产品咨询来电,怎么限制回答医疗诊断类内容?
人工智能·机器人·语音识别·意图识别·语音机器人·转人工·nlu安全
海盗12343 小时前
AI 新闻日报 2026-10-29:Gemini 4 Carbon 登顶、Clover 35B 扩散模型开源、Copilot Fusion 接手选模型
人工智能·机器人·开源·copilot·人工智能aigc
脆性薄片搬运谢工4 小时前
薄片移栽专机设备材质会不会掉屑污染薄片?
机器人·脆性薄片搬运专机·伯努利吸盘·超薄玻璃搬运·非接触式上料
垂钓的小鱼15 小时前
2026年10月26指数小幅上涨,个股普遍下跌,缩量兑现,机器人开始退潮
机器人
lucas_AI5 小时前
机器人也开始「卷经验」了:智元 GO-3 把学习从训练房搬到了便利店
机器人
想要成为计算机高手5 小时前
一种出人意料的机器人策略:GPT-6 Astra 在 RoboDojo 及其他场景中的早期评测
gpt·机器人·具身智能·astra·robodojo·roboprobe
海盗12345 小时前
微软技术日报 2026-10-29:Copilot harness 进 Foundry,云重建能拉镜像
人工智能·microsoft·机器人·aigc·copilot
光视界7 小时前
具身数采专项对比:ZED 双目相机 VS Intel RealSense,机器人数据集采集谁更合适?
经验分享·机器人