【论文阅读】UniAD: Planning-oriented Autonomous Driving

一、Introduction

传统的无人驾驶采用了区分子模块的设计,即将无人驾驶拆分为感知规划控制三个模块,这虽然能够让无人驾驶以一个很清晰的结构实现,但是感知的结果在传达到规划部分的时候,会导致部分信息丢失,这势必会让很多关键信息无法传递到规划部分,限制整体的算法运行。端到端的无人驾驶则是将感知、预测和规划整合为一个整体,并以规划为任务的核心。在这篇出名的无人驾驶论文中,作者将无人驾驶分为了五个关键的子任务,作者讨论了对于一个端到端的无人驾驶任务来说,究竟哪个模块是必须保留的,而哪些模块是可有可无的。

二、Methodology

Overview

UniAD采用的是基于Transformer的结构,整个框架基于Transformer设计了四个子模块以及一个预测模块。输入的环视图像首先使用BEVFormer转换为BEV特征,后续的所有任务都基于这个BEV视角。作者特地提到,这里并不对使用的BEV模块做限制,任何一个能够完成BEV特征提取的模型都可以用在这里,作者在UniAD中使用的框架叫BEVFormer,也是一个基于Transformer的模型。转换为BEV特征后,首先使用两个特征提取的模块TrackFormer和MapFormer分别提取场景中的agent信息和地图信息,之后使用这两个信息在MotionFormer里面进行预测,得到未来的轨迹信息,这些轨迹信息在OccFormer里面转换为未来时刻场景中占用的预测,最后在Planner的部分完成轨迹的生成和优化。

Perception: Tracking and Mapping

TrackFormer
MapFormer

Prediction: Motion Forecasting

MotionFormer
MotionQueries
Non-linear Optimization

Prediction: Occupancy Prediction

Planning

相关推荐
觉醒大王1 天前
哪些文章会被我拒稿?
论文阅读·笔记·深度学习·考研·自然语言处理·html·学习方法
觉醒大王1 天前
强女思维:着急,是贪欲外显的相。
java·论文阅读·笔记·深度学习·学习·自然语言处理·学习方法
张较瘦_1 天前
[论文阅读] AI | 用机器学习给深度学习库“体检”:大幅提升测试效率的新思路
论文阅读·人工智能·机器学习
m0_650108242 天前
IntNet:面向协同自动驾驶的通信驱动多智能体强化学习框架
论文阅读·marl·多智能体系统·网联自动驾驶·意图共享·自适应通讯·端到端协同
m0_650108242 天前
Raw2Drive:基于对齐世界模型的端到端自动驾驶强化学习方案
论文阅读·机器人·强化学习·端到端自动驾驶·双流架构·引导机制·mbrl自动驾驶
快降重科研小助手2 天前
前瞻与规范:AIGC降重API的技术演进与负责任使用
论文阅读·aigc·ai写作·降重·降ai·快降重
源于花海3 天前
IEEE TIE期刊论文学习——基于元学习与小样本重训练的锂离子电池健康状态估计方法
论文阅读·元学习·电池健康管理·并行网络·小样本重训练
m0_650108243 天前
UniDrive-WM:自动驾驶领域的统一理解、规划与生成世界模型
论文阅读·自动驾驶·轨迹规划·感知、规划与生成融合·场景理解·未来图像生成
蓝田生玉1233 天前
LLaMA论文阅读笔记
论文阅读·笔记·llama
*西瓜3 天前
基于深度学习的视觉水位识别技术与装备
论文阅读·深度学习