目录
简要介绍
为什么机器人公司需要数据平台
传统企业数据平台主要处理：
- ERP
- CRM
- 日志
- BI 数据
但机器人数据平台不同，它的数据特点包括：
- 多模态（RGB、深度、状态、动作、文本）
- 强时序关系
- 视频占数据量绝大多数
- 数据集需要版本管理
- AI 训练与推理需要高吞吐
核心目标：
text
采集 → 处理 → 存储 → 数据集 → 训练 → 部署 → 监控整体架构
text
机器人设备层
│
├─ Jetson
├─ ROS2
├─ Camera
├─ RealSense
│
↓
数据采集层
│
├─ LeRobot Recorder
├─ Kafka
│
↓
数据存储层
│
├─ MinIO
├─ PostgreSQL
│
↓
数据处理层
│
├─ Flink
├─ Airflow
│
↓
训练层
│
├─ GPU集群
├─ LeRobot Training
├─ MLflow
│
↓
服务层
│
├─ API
├─ Dashboard
├─ Superset
│
↓
部署层
│
└─ Kubernetes各组件角色
Kafka：数据高速传送带
Kafka 本质上是消息流平台。
作用：
- 实时数据入口
- 解耦系统
- 数据缓冲
- 消息重放
- 实时事件通知
机器人场景：
text
Jetson
↓
Kafka
├─ LeRobot
├─ Dashboard
├─ 实时监控
└─ 数据清洗注意：
不要把视频直接放进 Kafka。
推荐：
text
视频文件
↓
MinIO
Kafka
↓
保存路径和元数据Flink：实时数据处理引擎
如果 Kafka 是传送带：
Flink 就是站在传送带旁边工作的工人。
主要职责：
- 时间同步
- 去重
- 数据清洗
- 异常检测
- 实时统计
- 多流 Join
机器人例子：
text
Camera Topic
Joint Topic
Lidar Topic
↓
Flink
↓
统一时间对齐
↓
LeRobot DatasetMinIO：对象存储仓库
存储：
- 视频
- 图片
- ROS Bag
- Parquet
- 数据集
- 模型文件
建议目录：
text
raw/
processed/
dataset/
model/
metadata/Airflow：工作流调度中心
Airflow 不负责数据计算。
负责：
- 谁先执行
- 谁后执行
- 定时任务
- 自动重试
机器人流程：
text
上传数据
↓
数据校验
↓
清洗
↓
LeRobot转换
↓
注册数据集
↓
训练
↓
评估MLflow：模型生命周期管理
解决问题：
"哪个模型效果最好？"
记录：
- 参数
- 指标
- 数据集版本
- 模型文件
示例：
yaml
dataset: robot_pick_v3
policy: ACT
learning_rate: 0.0005
success_rate:94%支持：
- Experiment Tracking
- Model Registry
- Artifact管理
- 部署
Superset：数据可视化中心
作用：
- Dashboard
- 数据分析
- 实时监控
机器人常见大盘：
text
在线机器人数量
采集成功率
设备温度
FPS
训练成功率Kubernetes（K8s）：平台操作系统
K8s 管理：
- CPU
- GPU
- 内存
- 网络
- 容器
机器人平台中的作用：
text
Airflow
↓
K8s Job
↓
GPU节点
↓
LeRobot训练能力：
- 自动调度
- 自动恢复
- 自动扩缩容
各组件关系
text
Jetson + ROS2
↓
Kafka
↓
Flink
↓
MinIO / PostgreSQL
↓
Airflow
↓
LeRobot Training
↓
MLflow
↓
K8s部署
↓
Superset展示总结
一句话概括：
- Kafka：数据怎么流
- Flink：数据怎么处理
- MinIO：数据放哪里
- Airflow：任务什么时候执行
- MLflow：模型怎么管理
- K8s：资源怎么分配
- Superset：数据怎么展示
对于约 200 人规模机器人团队：
第一阶段：
text
Docker + MinIO + Airflow + 单机GPU第二阶段：
text
Kafka + Flink + MLflow第三阶段：
text
Kubernetes + GPU集群不要一开始就建设超大平台，而是随着数据规模和团队规模逐步演进。