端到端的自动驾驶--论坛分析

从Tesla开始,越来越多的企业和研究机构开始投身于端到端的自动驾驶模型,但是目前端到端的缺点是黑盒、不可读、不可解释。观看一些讲解和论坛后,个人觉得可解释的端到端模型将是未来的趋势。

视觉语言--大模型可以提供一些场景下的决策;

目前预测模块制约了自动驾驶的发展,感知相对稳定,规划控制也可以实时的计算出运动轨迹,不同的决策约束了不同的ROI区域,从而限制了相关的规划轨迹求解。

视觉语言模型,缺点是3D的场景下描述较差,推导计算周期长,规划轨迹不稳定。

Tesla的planning用DL主要是为了加速树搜索,而不是直接端到端黑箱出轨迹。用DL直接输出轨迹,再使用ilqr修正是不靠谱的。用DL只是加速是ok的,因为只影响搜索效率,不会有啥严重后果。同理Prediction直接DL出意图是可以的,出轨迹是不行的,至少要结合planning,做一些agent的轨迹优化和生成。

清华大学---赵行老师:

目前研究措施:使用双系统进行互补,一个是快模型。一个是慢模型,简单问题和默认情况下是快模型进行常规执行,复杂场景慢模型输出决策给快系统进行修正;

pipeline::3D perception --> Video --> motion Prediction --> Trajectory Planning

两种结合:

1、感知层面:标注的视频进行匹配;

2、规划层面:两个模型的规划轨迹进行互相配合,进行微调;

参考tesla影子模式;

两个OrinX,一个fast,一个slow,多线程并行运行,slow额外发送一条指令给fast,微调fast的规划轨迹;

语言标注,推理标注,后验结果标注,模仿学习;

浙江大学---廖依伊老师---面向自动驾驶的写实可控视觉仿真

传统的数据集无法闭环测试;carla场景搭建复杂,与现实存在差距较大。

上海交大---蔡盼盼---决策规划

传统的模块化系统(计算量)和新的端到端系统(数据量);

端到端系统面临的挑战:安全性、可靠性:神经网络的决策无法确保安全性和一致性,缺乏可解释性;

可拓展性挑战:

1、大规模交互场景:与大量交通参与者的实时交互;缺点:过度激进、过度保守;

step1:问题抽象建模;

马尔科夫决策过程(MDP):<S,A,T,R,Y>;

利用MDP模型,求解机器人的最优闭环策略;

Tesla2022aiday分享相关的MDP知识

蒙塔卡洛树搜索(MCTS):通过推演未来可能发生的各种状况,从而计算自车的最优策略;

人类行为存在不确定性:意图推断、分析;(贝叶斯推断)

信念;

部分可观马尔科夫决策过程(POMDP);<S,A,Z,T,O,R,Y>

step2:设计规划算法

信念树;bellman等式;

信念树搜索;DESPOT算法;

step3:实用算法优化:

融合规划:LeTS-Drive;

并行化+融合规划与学习;

南洋理工---刘浩晨---自动驾驶的预测规划:联合方法与挑战

模型核心:编码-解码:建模表征间的交互;

编码:(ego+agent history) +( map info)

解码:ego future planning --- agent future prediction

通用主干: Transformer、CNN

相关推荐
神奇夜光杯6 分钟前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠8 分钟前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon18 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~25 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨26 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画31 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云32 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓42 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing42 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc43 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr