OpenEMMA: 基于多模态大语言模型的端到端开源自动驾驶框架

OpenEMMA: 基于多模态大语言模型的端到端开源自动驾驶框架

创新点

OpenEMMA 将前置摄像头图像和车辆历史文本状态作为输入。驾驶任务被构建为视觉问答(VQA)问题,利用思维链推理来指导模型生成关键物体的详细描述、行为洞察和元驾驶决策。这些决策由模型直接推断得出,为生成路径点提供了必要的上下文。为了减轻多模态大语言模型在目标检测任务中已知的局限性,OpenEMMA 集成了经过微调的 YOLO 版本,该版本针对自动驾驶场景中的 3D 边界框预测进行了专门优化,显著提高了检测精度。此外,通过利用多模态大语言模型预先存在的世界知识,OpenEMMA 可以为场景理解等感知任务生成可解释、人类可读的输出,从而提高了透明度和可用性

方法

它以车辆历史驾驶状态 T 和视觉驾驶场景 I 为输入,预测未来轨迹 P,并检测交通参与者

为了可解释化:生成两个中间表示:速度向量S,表示车辆速度大小

曲率向量k,表示车辆的转向率

速度表示踩油门的程度,而曲率表示转动方向盘的幅度

然后利用公式计算出下一个轨迹坐标

阶段1

将驾驶场景的前置摄像头图像和本车过去 5 秒的历史数据(速度和曲率)作为预训练多模态大语言模型的输入

设计特定任务的提示,引导多模态大语言模型对当前本车驾驶场景进行全面推理:

1.意图指令:根据当前场景明确本车的预期动作,例如是继续沿着车道左转、右转还是直行。此外,它还指定车辆是应保持当前速度、减速还是加速。

2.场景描述:根据交通信号灯、其他车辆或行人的运动以及车道标记,对驾驶场景进行简洁描述

3.主要物体:识别本车驾驶员应注意的道路使用者,在驾驶场景图像中指定它们的位置。对于每个道路使用者,简要描述其当前动作,并解释其存在对本车决策过程的重要性

阶段2

预测:通过结合思维链推理过程和本车历史状态,促使多模态大语言模型生成未来 T 秒的速度S和曲率C,然后对这些预测进行积分,计算最终轨迹T

视觉专家增强的目标检测

现成的预训练多模态大语言模型由于空间推理能力的限制,难以实现高质量的检测。为了克服这一挑战,在不额外微调多模态大语言模型的情况下实现高检测精度,我们将一个外部的视觉专业模型集成到 OpenEMMA 中,有效地解决了检测任务

相当于原有大模型+yolo3d

OpenEMMA 专门使用前置摄像头进行目标检测,并处理单帧数据,而不是连续的帧序列。这将任务置于基于单目摄像头的 3D 目标检测范畴内,选择的YOLO3D34

yolo

YOLO3D 是一种两阶段的 3D 目标检测方法,它强制实施 2D - 3D 边界框一致性约束。具体来说,它假设每个 3D 边界框都紧密包含在其相应的 2D 边界框内。该方法首先预测 2D 边界框,然后估计每个检测到的物体的 3D 尺寸和局部方向。3D 边界框的七个参数 ------ 中心位置 tx、ty、tz,尺寸 dx、dy、dz 以及偏航角 θ------ 是基于 2D 边界框和 3D 估计联合计算得出的

相关推荐
白-胖-子5 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手6 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道7 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12018 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师8 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen8 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域8 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木8 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12138 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm