企业级机器人数据平台开发

简要介绍

为什么机器人公司需要数据平台

传统企业数据平台主要处理：

ERP
CRM
日志
BI 数据

但机器人数据平台不同，它的数据特点包括：

多模态（RGB、深度、状态、动作、文本）
强时序关系
视频占数据量绝大多数
数据集需要版本管理
AI 训练与推理需要高吞吐

核心目标：

text 复制代码

采集 → 处理 → 存储 → 数据集 → 训练 → 部署 → 监控

整体架构

text 复制代码

机器人设备层
│
├─ Jetson
├─ ROS2
├─ Camera
├─ RealSense
│
↓
数据采集层
│
├─ LeRobot Recorder
├─ Kafka
│
↓
数据存储层
│
├─ MinIO
├─ PostgreSQL
│
↓
数据处理层
│
├─ Flink
├─ Airflow
│
↓
训练层
│
├─ GPU集群
├─ LeRobot Training
├─ MLflow
│
↓
服务层
│
├─ API
├─ Dashboard
├─ Superset
│
↓
部署层
│
└─ Kubernetes

各组件角色

Kafka：数据高速传送带

Kafka 本质上是消息流平台。

作用：

实时数据入口
解耦系统
数据缓冲
消息重放
实时事件通知

机器人场景：

text 复制代码

Jetson
   ↓
Kafka
   ├─ LeRobot
   ├─ Dashboard
   ├─ 实时监控
   └─ 数据清洗

注意：

不要把视频直接放进 Kafka。

Flink：实时数据处理引擎

如果 Kafka 是传送带：

Flink 就是站在传送带旁边工作的工人。

主要职责：

时间同步
去重
数据清洗
异常检测
实时统计
多流 Join

机器人例子：

text 复制代码

Camera Topic
Joint Topic
Lidar Topic
      ↓
Flink
      ↓
统一时间对齐
      ↓
LeRobot Dataset

MinIO：对象存储仓库

存储：

视频
图片
ROS Bag
Parquet
数据集
模型文件

建议目录：

text 复制代码

raw/
processed/
dataset/
model/
metadata/

Airflow：工作流调度中心

Airflow 不负责数据计算。

负责：

谁先执行
谁后执行
定时任务
自动重试

机器人流程：

text 复制代码

上传数据
   ↓
数据校验
   ↓
清洗
   ↓
LeRobot转换
   ↓
注册数据集
   ↓
训练
   ↓
评估

MLflow：模型生命周期管理

解决问题：

"哪个模型效果最好？"

记录：

参数
指标
数据集版本
模型文件

示例：

yaml 复制代码

dataset: robot_pick_v3
policy: ACT
learning_rate: 0.0005

success_rate:94%

支持：

Experiment Tracking
Model Registry
Artifact管理
部署

Superset：数据可视化中心

作用：

Dashboard
数据分析
实时监控

机器人常见大盘：

text 复制代码

在线机器人数量

采集成功率

设备温度

FPS

训练成功率

Kubernetes（K8s）：平台操作系统

K8s 管理：

CPU
GPU
内存
网络
容器

机器人平台中的作用：

text 复制代码

Airflow
     ↓
K8s Job
     ↓
GPU节点
     ↓
LeRobot训练

能力：

自动调度
自动恢复
自动扩缩容

各组件关系

text 复制代码

Jetson + ROS2
      ↓
Kafka
      ↓
Flink
      ↓
MinIO / PostgreSQL
      ↓
Airflow
      ↓
LeRobot Training
      ↓
MLflow
      ↓
K8s部署
      ↓
Superset展示

总结

一句话概括：

Kafka：数据怎么流
Flink：数据怎么处理
MinIO：数据放哪里
Airflow：任务什么时候执行
MLflow：模型怎么管理
K8s：资源怎么分配
Superset：数据怎么展示

对于约 200 人规模机器人团队：

第一阶段：

text 复制代码

Docker + MinIO + Airflow + 单机GPU

第二阶段：

text 复制代码

Kafka + Flink + MLflow

第三阶段：

text 复制代码

Kubernetes + GPU集群

不要一开始就建设超大平台，而是随着数据规模和团队规模逐步演进。