大语言加持的闭环端到端自动驾驶模型 学习笔记纯干货LMDrive:大语言模型辅助闭环端到端自动驾驶行驶过程中要从起点到终点,避免碰撞,防止违反交通法规 端到端与模块化设计之分——端到端已成主流 闭环与开环——在线数据与 驾驶模拟器——使用了carla 交通场景 设计了两种工况,有一些特殊交互场景,来检验模型对特殊情况的处理。 之前的工作 现有问题: 1现代自动驾驶方法在遇到长尾的、难以预见的事件以及复杂的城市场景时,表现不佳,容易引发严重事故。 2并且以往的自动驾驶方法倾向于依赖有限格式的输入,比如传感器数据和导航航点,这限制了车辆对语言信息的理解能力以