目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络

目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络

附赠自动驾驶学习资料和量产经验:链接

摘要

本文介绍了目标点注意力Transformer:一种用于端到端自动驾驶的新型轨迹预测网络。在自动驾驶领域中,已经有很多优秀的感知模型,用于目标检测、语义分割和其它任务,但是我们如何可以有效地将感知模型用于车辆规划呢?传统的自动驾驶车辆轨迹预测方法不仅需要遵循交通规则以实现避障,还需要按照规定的路线到达目的地。在本文中,我们提出了一种无规则的基于transformer的轨迹预测网络用于端到端自动驾驶,称为目标点注意力Transformer网络(TAT)。我们使用注意力机制来实现预测轨迹与感知特征以及目标点之间的交互。我们证明了,本文所提出的方法优于现有的条件模仿学习和基于GRU的方法,显著地减少了事故的发生并且提高了路线完成率。我们使用CARLA仿真器在城市中复杂的闭环驾驶场景中评估了本文方法,并且实现最先进的性能。

主要贡献

本文的贡献总结如下:

1)本文所提出的目标点注意力Transformer模型利用了注意力机制来预测自动驾驶车辆的未来轨迹,从而显著减少了事故的发生,并且提高了路线完成率;

2)本文在CARLA上进行定量实验,对不同的轨迹预测方法进行比较和分析。实验结果证明了所提出方法的有效性。

论文图片和表格

总结

在本文中,我们提出了一种用于端到端自动驾驶的新型轨迹预测网络。我们证明了,现有的基于GRU的轨迹预测网络无法充分利用可用的感知特征。为了解决这一限制,本文提出了一种新型的轨迹预测网络,其利用Transformer的注意力机制与高维感知特征直接交互,并且在CARLA上实现了最先进的性能。本文方法通用且适应性强,我们计划通过探索新的感知网络来研究进一步的改进(例如独立的交通信号灯检测网络),以缓解闯红灯的问题。

相关推荐
飞猫的边缘AI1 天前
边缘AI芯片的规则变了:从跑CNN到跑LLM和VLM
人工智能·语言模型·cnn·transformer·边缘ai
亚远景aspice1 天前
亚远景 - 无方向盘 L4 车辆批量认证,ASPICE 过程证据成制造商安全举证底座
安全·自动驾驶·aspice·研发管理·亚远景科技·过程能力评估·aspice评估
DevOps老兵1 天前
Transformer拆解06:Self-Attention,一句话里的词怎样互相看见
大模型·transformer·自注意力·self-attention·注意力矩阵
地平线开发者2 天前
CLIP 的训练机制:从对比学习到图文对齐
深度学习·算法·自动驾驶
秋秋小事2 天前
transformer基础 RNN + LSTM
rnn·lstm·transformer
Eloudy2 天前
全文 - LLaMA v2 - Llama 2: Open Foundation and Fine-Tuned Chat Models
llm·transformer·gpu
明天会有多晴朗3 天前
从零手写 Transformer!一个 Python 文件跑通英译中(PyTorch 附完整源码)
人工智能·pytorch·python·深度学习·transformer
高洁013 天前
端侧大模型的应用场景与工程实践
人工智能·深度学习·机器学习·transformer·tornado
AI-Frontiers3 天前
Attention 演进路线:5 大阶段,11 篇奠基论文
transformer
zx_741484813 天前
BERT自然语言处理框架深度解析:从Transformer到双向预训练模型
自然语言处理·bert·transformer