环境的配置和运行
前置知识理论(理论)
基于模仿学习的方法(ACT、Aloha、mobile Aloha、behavior robot suite)
具身智能有很多路线除了现在我们主流探索的VLA方向,还有两个路线我们没有试过就是模仿学习和强化学习,星海图最近正在尝试如何把模仿学习和强化学习应用到vla, 1般主流是这3个路线。
模仿学习和vla有很多共性,模仿学习需要采集数据1般通过遥操等方式采集,而采掘数据刚好是VLA可以用到的,如果是走VLA的话可能会比较低模仿学习是1个中间的路径。

- 我们首先根据我们的输入比如说位置坐标通过编码器生成1个风格z
- 然后将z和摄像头捕捉的内容作为1整个编码器的输出预测我们的动作序列