LMDrive 端到端闭环自动驾驶框架

LMDrive，一种新颖的语言引导的端到端闭环自动驾驶框架。LMDrive独特地处理和整合多模态传感器数据与自然语言指令，使车辆能够在现实的指令设置中与人类和导航软件进行交互。

LMDrive由两个主要部分组成：

1）一个视觉编码器，用于处理多视图多模态传感器数据（相机和激光雷达），进行场景理解并生成视觉标记；

2）一个大型语言模型及其相关组件（分词器、Q-Former和适配器），它们接收视觉标记和语言指令，以预测控制信号以及判断给定指令是否完成。