【论文阅读】UniAD: Planning-oriented Autonomous Driving

一、Introduction

传统的无人驾驶采用了区分子模块的设计,即将无人驾驶拆分为感知规划控制三个模块,这虽然能够让无人驾驶以一个很清晰的结构实现,但是感知的结果在传达到规划部分的时候,会导致部分信息丢失,这势必会让很多关键信息无法传递到规划部分,限制整体的算法运行。端到端的无人驾驶则是将感知、预测和规划整合为一个整体,并以规划为任务的核心。在这篇出名的无人驾驶论文中,作者将无人驾驶分为了五个关键的子任务,作者讨论了对于一个端到端的无人驾驶任务来说,究竟哪个模块是必须保留的,而哪些模块是可有可无的。

二、Methodology

Overview

UniAD采用的是基于Transformer的结构,整个框架基于Transformer设计了四个子模块以及一个预测模块。输入的环视图像首先使用BEVFormer转换为BEV特征,后续的所有任务都基于这个BEV视角。作者特地提到,这里并不对使用的BEV模块做限制,任何一个能够完成BEV特征提取的模型都可以用在这里,作者在UniAD中使用的框架叫BEVFormer,也是一个基于Transformer的模型。转换为BEV特征后,首先使用两个特征提取的模块TrackFormer和MapFormer分别提取场景中的agent信息和地图信息,之后使用这两个信息在MotionFormer里面进行预测,得到未来的轨迹信息,这些轨迹信息在OccFormer里面转换为未来时刻场景中占用的预测,最后在Planner的部分完成轨迹的生成和优化。

Perception: Tracking and Mapping

TrackFormer
MapFormer

Prediction: Motion Forecasting

MotionFormer
MotionQueries
Non-linear Optimization

Prediction: Occupancy Prediction

Planning

相关推荐
wbzuo1 天前
Clip:Learning Transferable Visual Models From Natural Language Supervision
论文阅读·人工智能·transformer
想成为PhD的小提琴手2 天前
论文阅读13——基于大语言模型和视觉模态融合的可解释端到端自动驾驶框架:DriveLLM-V的设计与应用
论文阅读·语言模型·自动驾驶
想看雪的瓜2 天前
Origin将2D普通的XPS曲线图升级为三维XPS瀑布图
论文阅读·论文笔记
DuHz3 天前
基于信号分解的FMCW雷达相互干扰抑制——论文阅读
论文阅读·算法·汽车·信息与通信·毫米波雷达
m0_650108243 天前
MiniGPT-4:解锁 LLM 驱动的高级视觉语言能力
论文阅读·开源·视觉语言大模型·minigpt-4·跨模态对齐·强llm+视觉对齐
WSKH09293 天前
【论文阅读】(2016)Dual Inequalities for Stabilized Column Generation Revisited
论文阅读·线性规划·运筹学·列生成·对偶不等式·稳定列生成
程途拾光1583 天前
用流程图优化工作流:快速识别冗余环节,提升效率
大数据·论文阅读·人工智能·流程图·论文笔记
蓝海星梦4 天前
【论文笔记】R-HORIZON:重塑长周期推理评估与训练范式
论文阅读·人工智能·深度学习·自然语言处理·大型推理模型
张较瘦_4 天前
[论文阅读] 软件工程 | 解决Java项目痛点:DepUpdater如何平衡依赖升级的“快”与“稳”
java·开发语言·论文阅读
0x2114 天前
[论文阅读]Friend or Foe: How LLMs‘ Safety Mind Gets Fooled by Intent Shift Attack
论文阅读