澳门大学×小米 CausalDrive：让自动驾驶世界模型学会"让行"，12.4 FPS 实时交互
- 一句话总结
CausalDrive 仅凭初始前视图、自车轨迹和文字提示生成可交互驾驶视频，让周围车辆对自车动作作出反应，并以12.4帧/秒支持闭环评测与策略训练。
- 论文信息
-
题目： CausalDrive: Real-time Causal World Models for Autonomous Driving | CausalDrive：面向自动驾驶的实时因果世界模型
-
发表： ECCV 2026
-
作者： Tianyi Yan¹‡、Huan Zheng¹、Dubing Chen¹、Meizhi Qu³、Yingying Shen²、Lijun Zhou²、Mingfei Tu²、Bing Wang²、Guang Chen²、Hangjun Ye²、Haiyang Sun²†、Cheng-zhong Xu¹、Jianbing Shen¹*
-
单位： ¹澳门大学（SKL-IOTSC、CIS）；²小米汽车；³中国科学院自动化研究所。
- 论文摘要
预先设定好周围车辆未来的行驶路线可以使得世界模型变成一个被动渲染器，而仅仅给自动驾驶汽车下达指令又不能够控制交互行为并且生成速度很慢。CausalDrive 通过使用驾驶交互标注、因果自回归教师以及少步蒸馏来实现语义可控的交通反应和实时生成。
4、主要创新之处
创新 1：构建交互的世界模型
排除周围交通参与者的未来布局之后，让它的行为根据最初的场景、汽车的动作以及宏观提示来推断。
创新 2：SocioDrive-Bench驾驶交互基准
用视觉语言模型（Vision-Language Model，VLM）和大语言模型（Large Language Model，LLM）来标注让路、避让以及协商等等交互行为。
创新 3：因果教师和上下文强制蒸馏
首先创建一个因果自回归的老师，然后由这个老师来给学生提供指导，同时考虑到少步生成和长久稳定性的平衡。
创新 4：把评测、训练和人机交互结合起来
把视频生成器接入到闭环仿真、强化学习（Reinforcement Learning，RL）后训练以及实时的人工干预。
- 方法详解
5.1 输入、输出和结构
给模型提供初始前视图、自车轨迹以及驾驶行为提示之后，它会按部分地产生出驾驶视频。训练过程包括基础可控生成、因果自回归（Autoregressive，AR）教师训练和少量步数蒸馏；分块因果注意力配合键值（Key-Value，KV）缓存来支持流式推断。
图1.： 相同的初始条件以及自车行驶路线的情况下，提示控制周围的车辆让行或抢行；下图展示了交互世界、闭环评价以及RL之后训练三种应用场景。
图2.： CausalDrive架构及训练过程：轨迹和语义条件注入、真实的过去条件下教师的学习、学生自己生成过去的自我校正蒸馏。
5.2 SocioDrive-Bench：首先标记出"谁对谁产生了影响"
数据集有2万条视频，其中80%是nuPlan提供的，另外20%是由CARLA生成的用来补充危险情况的视频；标注的时候用VLM分析按2 Hz采样的4秒多视角片段，并且把连续的画面合并成行为故事、重要的交互和危险事件总结。
5.3 因果教师：轨迹管动作、语义管反应
根据Plücker坐标编码以及多层感知机（Multi-Layer Perceptron，MLP）得到几何条件，文字提示编码为语义特征，二者分别经过自适应层归一化（Adaptive Layer Normalization，AdaLN）、交叉注意力：
其中是中间特征，是几何调制参数，是语义嵌入；、是两步输出，、分别是查询、键和值。
公式解释： 自注意力和几何条件约束相结合，交叉注意力促使周围的车辆做出相应的反应，"礼让"属于全局的行为先验，并不是要对每一辆车都做出具体的指令。
5.4 少步蒸馏：让学生自己去改正自己的错误
先用因果教师的常微分方程（Ordinary Differential Equation，ODE）轨迹来训练学生，然后做上下文强制分布匹配蒸馏（Context-Forced Distribution Matching Distillation，Context-Forced DMD）。
其中表示学生的参数，是蒸馏的目标，是学生自己推演的历史，表示第块在噪声时刻的状态，表示控制条件；和分别代表真实的和生成分布的得分估计值，表示学生生成的结果，表示期望。
公式解释： 两个得分都是根据学生自己的历史来计算的，并且经过了生成的结果对于参数的导数去修正学生的学习状态，使他们能够从累积的错误中恢复过来。另外还加入了对抗判别器来保持道路高频纹理不变，最后把采样压缩为1～4步。
5.5 训练目的
教师用流匹配（Flow Matching，FM）的方法来学习速度场：
是网络参数，是真实的视频潜变量，是标准高斯噪声，；表示插值状态，表示预测的速度场，表示范数。
**公式解释：**把预测的速度拟合到噪声和数据之间的差异上，在之后的部分中分别用干净的目标回归、DMD 和对抗约束来进行蒸馏；PDF 没有给出统一的加权总损失以及权重。
❝
一句话概括该方法就是：不预先假定周围的车辆将来会怎样，而是用语义来引导交互，并且让模型在自己推断出错误之后去学习修正自己。
- 实验结果
6.1 实验条件
采用OpenDV提供的大约1700个小时的驾驶视频进行预训练，并且利用nuPlan、SocioDrive-Bench以及Bench2Drive等危险场景增强的数据来完成训练过程。骨干部分从Wan2.1-1.3B开始初始化，在基础阶段中使用了8块NVIDIA H20显卡，并且总批量为4，AdamW 学习率设为。
6.2 定量的结果
在nuPlan上，CausalDrive的弗雷歇视频距离（Fréchet Video Distance，FVD，越低越好）为121.6，Orbis为196.21；但是表格中的CausalDrive+的113.6更小，并不能说明它是实时版中最好的一个。
在SocioDrive-Bench上，"Polite"提示下的让行遵从率（Yielding Compliance Rate，YCR）为82.0%，而Vista则只有12.5%，提高了69.5个百分点；错误碰撞率（False-Collision Rate，FCR）也从原来的87.5%下降到了现在的18.0%，还没有降到零。
表1.： 仿真可靠性的比较：nuPlan 的视频效果、动作控制能力和推理速度。
表2.： SocioDrive-Bench 反应能力测试结果，在激进自车行为下，让行率与错误碰撞率。
6.3 定性结果
图1表示了在不同的提示之下，车辆会做出礼让或者抢行的动作，并且体现了语义对于交互的影响。
6.4 下游的任务结果
闭环评测采用的是PDM-Closed协议，并且涉及到UniAD等规划器，其中CausalDrive的PDMS值为0.7792，DrivingSphere的PDMS值为0.7281。表3中的ADS标号越小越好，但是本文给出的数据比较大，并不能说明所有的指标都很好；PDF没有展开这些缩写的英文全称。
使用了视频转奖励（Video-to-Reward，V2R）模块之后，在Navsim上PDMS达到90.7，是表格里最好的成绩，比DiffusionDrive的88.1高了2.6分；舒适度也是100，并列第一；碰撞时间（Time-to-Collision，TTC）是94.7，低于 DriveDPO 的94.8，属于并列次优。
表3.： 生成式的闭环评价，在不同的仿真环境中，规划器的PDMS、RC和ADS。
表4.： 使用反事实交互对DiffusionDrive之后的Navsim进行RL后训练所得到的结果。
6.5 消融实验和模型复杂度
PDF没有给出单独模块消融表或者最后的参数量、浮点运算量。单个NVIDIA A100的速度是12.4帧/秒；表1中的CausalDrive+大约为0.5帧/秒，体现了速度和质量之间的取舍问题。Wan2.1-1.3B是初始化模型的名字，并不能直接用作完整的系统的参数量。
- 结论和预测
CausalDrive 将可控制的交通反应和少步自纠正生成结合起来，并且展示了实时的世界模型服务闭环评价以及 RL 后训练的可能性。接下来的研究方向是把单目前视拓展到多目环视。
❝
一句话概括就是：除了产生出道路的画面之外，还要使道路上的人们能够按照要求做出相应的动作。
#自动驾驶(javascript:😉#澳门大学(javascript:😉#小米汽车(javascript:😉#中科院自动化所(javascript:😉#多模态信息融合(javascript:😉
往期推荐
