目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络

目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络

附赠自动驾驶学习资料和量产经验:链接

摘要

本文介绍了目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络。在自动驾驶领域中,已经有很多优秀的感知模型,用于目标检测、语义分割和其它任务,但是我们如何可以有效地将感知模型用于车辆规划呢?传统的自动驾驶车辆轨迹预测方法不仅需要遵循交通规则以实现避障,还需要按照规定的路线到达目的地。在本文中,我们提出了一种无规则的基于transformer的轨迹预测网络用于端到端自动驾驶,称为目标点注意力Transformer网络(TAT)。我们使用注意力机制来实现预测轨迹与感知特征以及目标点之间的交互。我们证明了,本文所提出的方法优于现有的条件模仿学习和基于GRU的方法,显著地减少了事故的发生并且提高了路线完成率。我们使用CARLA仿真器在城市中复杂的闭环驾驶场景中评估了本文方法,并且实现最先进的性能。

主要贡献

本文的贡献总结如下:

1)本文所提出的目标点注意力Transformer模型利用了注意力机制来预测自动驾驶车辆的未来轨迹,从而显著减少了事故的发生,并且提高了路线完成率;

2)本文在CARLA上进行定量实验,对不同的轨迹预测方法进行比较和分析。实验结果证明了所提出方法的有效性。

论文图片和表格

总结

在本文中,我们提出了一种用于端到端自动驾驶的新型轨迹预测网络。我们证明了,现有的基于GRU的轨迹预测网络无法充分利用可用的感知特征。为了解决这一限制,本文提出了一种新型的轨迹预测网络,其利用Transformer的注意力机制与高维感知特征直接交互,并且在CARLA上实现了最先进的性能。本文方法通用且适应性强,我们计划通过探索新的感知网络来研究进一步的改进(例如独立的交通信号灯检测网络),以缓解闯红灯的问题。

相关推荐
Xy-unu1 小时前
[LLM]AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
论文阅读·人工智能·算法·机器学习·transformer·论文笔记·剪枝
weisian1512 小时前
入门篇--人工智能发展史-6-AI视觉的“注意力革命”,大模型的核心动力--Transformer
人工智能·深度学习·transformer
Mr.朱鹏6 小时前
大模型入门学习路径(Java开发者版)上
java·开发语言·spring boot·spring·大模型·llm·transformer
田里的水稻7 小时前
ADAS_DigialTwin_CARLA + LiDAR + Camera + MPC 控制器
自动驾驶
Robot侠7 小时前
视觉语言导航从入门到精通(四)
人工智能·深度学习·transformer·rag·视觉语言导航·vln
Drise_8 小时前
推理过程的差异
transformer
Robot侠9 小时前
多模态大语言模型(Multimodal LLM)技术实践指南
人工智能·语言模型·自然语言处理·transformer·rag·多模态大模型
JoannaJuanCV11 小时前
自动驾驶—CARLA仿真(21)manual_control_carsim demo
人工智能·机器学习·自动驾驶
MarkHD11 小时前
智能体在车联网中的应用:第11天 CARLA自动驾驶仿真入门:从零安装到理解客户端-服务器架构
服务器·架构·自动驾驶
AI即插即用12 小时前
即插即用系列 | 2025 RestorMixer:融合 CNN、Mamba 与 Transformer 的高效图像复原的集大成者!
人工智能·深度学习·神经网络·目标检测·计算机视觉·cnn·transformer