G‑MARK：基于知识图谱的协同自动驾驶接地多智能体推理框架
论文来源：arXiv:2608.19964v1
摘要
自动驾驶系统运行在部分可观测环境下，安全关键目标可能被遮挡，仅能被周边联网车辆观测。车‑车协同可以降低这种不确定性，但现有协同驾驶方法大多将多智能体证据压缩为隐式特征或者多模态隐藏状态。该处理方式会丢失关键信息：哪个智能体观测到该目标、自车是否可以看到该目标、冲突证据如何影响下游决策。
本文提出G‑MARK，一套接地多智能体推理框架，将协同的以目标为中心的观测转换为具备来源溯源能力的知识图谱（KG）。生成的知识图谱完整保存目标假设以及对应的来源归属、自车‑协作车可见性、不确定性、证据冲突、空间关系、规划相关上下文。G‑MARK从知识图谱导出共享特征表示，通过轻量任务头支持目标推理、运动预测、控制选择、轨迹预测。
与SOTA基线相比：G‑MARK遮挡推理精度提升42.2% ，控制选择误差下降13.1% ；在轨迹规划精度接近的前提下，结构化通信载荷降低25.6倍。本文全部代码已开源。
关键词 ：协同自动驾驶；多智能体知识图谱；车车通信；运动规划
1 引言
自动驾驶系统需要基于不完备、视角依赖的观测做出安全关键决策。对规划至关重要的物体可能被遮挡、处于自车视场之外，只能被其他联网协作车辆观测。车‑车（V2V）协同可以在多智能体之间共享互补的场景观测，缓解部分可观测问题。
但当自车需要推理自身没有直接观测到的物体时，系统不能只保存物体假设本身，还需要保留溯源信息：哪个智能体观测该物体、观测可靠性、该物体对下游规划的影响原因。
现有协同感知分为早期融合、晚期融合、特征级融合，目标是聚合多智能体观测得到更优感知输出，通常把共享证据压缩为隐式特征图或者最终检测结果。压缩过程会丢失下游推理所必需的证据结构，下游模块无法获知：哪一个智能体支撑该目标假设、自车是否直接观测物体、目标估计还残留多大不确定性。
近期基于大语言模型、视觉语言模型的驾驶系统，通过视觉问答、解释生成、行为规划、语言条件控制开展高层驾驶推理。V2V‑LLM、V2V‑GoT将该范式拓展到多智能体推理，但中间状态一般是提示词、生成文本、自由文本推理、隐式多模态特征，不是结构化、面向目标的协同证据，对于依赖协作车辆观测的安全关键决策，可追溯能力不足。
| 能力 | 协同感知/V2X融合 | 语言/VLM驾驶推理 | 结构化场景&知识图谱推理 | 协同语言推理 | G‑MARK(本文) |
|---|---|---|---|---|---|
| 多智能体证据 | ✓ | △ | --- | ✓ | ✓ |
| 目标来源溯源 | --- | --- | △ | △ | ✓ |
| 自车/协作车可见性 | --- | △ | --- | △ | ✓ |
| 不确定性/冲突证据 | --- | △ | △ | △ | ✓ |
| 规划相关性 | △ | ✓ | △ | ✓ | ✓ |
| 跨任务可复用 | --- | ✓ | △ | ✓ | ✓ |
| 通信效率 | △ | △ | --- | △ | ✓ |
✓：显式建模；---：没有显式暴露；△：部分支持
本文提出G‑MARK，接地多智能体推理框架，将协同驾驶场景表示为具备溯源能力的知识图谱。运行在感知层之上，接收处理完成的多智能体观测，把兼容观测关联为共享目标假设；对弱匹配、未匹配观测不直接丢弃，保留为不确定候选。生成图谱显式存储来源智能体支撑、自车‑协作车可见性、不确定性、智能体之间证据冲突、空间关系、运动线索、规划上下文。基于知识图谱的任务头查询图谱，支持目标接地、遮挡推理、隐藏目标发现、运动预测、控制选择、轨迹预测。
在V2V‑GoT‑QA协同驾驶基准开展评测，对比V2V‑GoT基线：遮挡推理提升42.2%，隐藏目标发现提升12.3%，控制选择误差降低13.1%；未来轨迹预测平均L2误差接近基线，但结构化通信开销降低约25.6倍。
本文主要贡献
- 构建具备溯源能力的协同知识图谱：保存目标假设、来源智能体支撑、可见性、不确定性、证据冲突、空间关系、运动线索、规划上下文。
- 提出任务条件延迟证据融合策略：保留仅来自协作车的弱观测，交由下游任务自行判断证据相关性。
- 仅依靠紧凑结构化通信，实现目标推理、运动预测、控制选择、未来轨迹预测多项任务。
2 相关工作
2.1 协同感知与V2X融合
通过共享原始观测、目标预测、学习特征、BEV表征、稀疏空间消息提升单自车之外的场景理解，代表工作Where2Comm、V2X‑ViT、CoBEVT。该类方案感知主干效果很强，但融合输出很少将来源支撑、自车/协作车可见性、不确定性、证据冲突作为可复用的目标级证据对外暴露。
2.2 语言与VLM驾驶推理
语言、多模态大模型被用于驾驶问答、解释、规划、控制，将自动驾驶评测从感知准确率拓展到推理任务：目标接地、场景理解、决策解释、规划。但大多是自车视角，不面向协同V2V证据。
2.3 结构化场景与知识图谱推理
结构化场景表示、知识图谱用显式实体‑属性‑关系完成视觉推理与决策；DriveLM、KLDrive证明结构化场景事实可以支撑可解释、面向规划的推理。现有驾驶知识图谱大多面向自车场景、语言问答高层事实，不处理V2V协同证据。
2.4 协同语言驱动推理
LangCoop、CoLMDriver、V2V‑LLM、V2V‑GoT将语言推理拓展至多智能体驾驶。与G‑MARK任务范围最接近，但中间状态一般是语言消息、生成答案、推理轨迹、多模态隐激活，而不是显式目标级证据。G‑MARK使用溯源知识图谱，下游预测可以追溯到来源智能体、可见性事实、不确定性与支撑观测。
3 G‑MARK框架
G‑MARK是运行在协同感知流水线之上的协同推理层。输入是处理完毕的多智能体场景工件：目标检测/跟踪、智能体位姿、置信度、规划上下文；不直接读取原始相机、激光雷达数据流，把已经处理完成的协同感知证据抽象为结构化图谱表示。
核心设计原则：不可逆的证据融合延迟到下游推理任务确定之后执行。不会直接把全部智能体观测合并成单一目标列表；将观测智能体、局部观测、目标假设表示为相互连接的图谱实体。不同推理任务头可以查询同一份协同证据，侧重各自任务关心的因素。
G‑MARK四个执行阶段：
- 协同知识图谱生成：每台联网自动驾驶汽车（CAV）感知输出实例化为局部证据知识图谱，包含智能体节点、观测节点、目标假设节点，还没有跨车关联；
- 保守关联：自车侧将不同车辆的兼容局部证据链接为共享目标假设，挂载观测节点作为支撑，保留弱的未匹配候选；
- 协同上下文增强：为每一条假设补充溯源信息、智能体相对可见性、不确定性、证据冲突、空间关系、运动线索、规划相关性；
- 统一KG任务头：增强后的协同知识图谱被任务头查询，完成目标级推理、运动预测、轨迹规划。
3.1 协同知识图谱生成
G‑MARK将每台联网车辆处理后的感知输出，构建局部证据图谱，再组装成初始协同知识图谱，而不是直接坍缩为扁平化融合目标列表。
记ttt时刻可用联网智能体集合At={a1,...,aNt}\mathcal{A}{t}=\{a{1},\dots,a_{N_{t}}\}At={a1,...,aNt}。
智能体aia_iai在ttt时刻输出Mi,tM_{i,t}Mi,t条局部观测：
Ot(i)={ot,1(i),...,ot,Mi,t(i)}\mathcal{O}^{(i)}{t}=\{o^{(i)}{t,1},\dots,o^{(i)}{t,M{i,t}}\}Ot(i)={ot,1(i),...,ot,Mi,t(i)}
单条观测：
ot,j(i)=(xt,j(i),τt,j(i),ct,j(i),ai,t,ηt,j(i))o^{(i)}{t,j}=\left(\mathbf{x}^{(i)}{t,j},\tau^{(i)}{t,j},c^{(i)}{t,j},a_{i},t,\boldsymbol{\eta}^{(i)}_{t,j}\right)ot,j(i)=(xt,j(i),τt,j(i),ct,j(i),ai,t,ηt,j(i))
- xt,j(i)\mathbf{x}^{(i)}_{t,j}xt,j(i)：统一坐标系下位置/包围框
- τt,j(i)\tau^{(i)}_{t,j}τt,j(i)：目标语义类别（轿车、卡车、行人）
- ct,j(i)c^{(i)}_{t,j}ct,j(i)：检测置信度
- aia_iai：来源智能体标识
- ηt,j(i)\boldsymbol{\eta}^{(i)}_{t,j}ηt,j(i)：辅助属性：速度、跟踪ID、来源标记、可见性标签
构建初始协同知识图谱Gt=(Vt,Et)\mathcal{G}{t}=(\mathcal{V}{t},\mathcal{E}_{t})Gt=(Vt,Et)
节点集合Vt=VtA∪VtO∪VtH\mathcal{V}{t}=\mathcal{V}^{A}{t}\cup\mathcal{V}^{O}{t}\cup\mathcal{V}^{H}{t}Vt=VtA∪VtO∪VtH
- VtA\mathcal{V}^{A}_{t}VtA：智能体节点
- VtO\mathcal{V}^{O}_{t}VtO：观测节点
- VtH\mathcal{V}^{H}_{t}VtH：目标假设节点
关系集合Et\mathcal{E}_{t}Et使用类型化关系：来源归属、假设支撑、空间上下文、规划上下文、证据一致性。
目标假设节点h∈VtHh\in\mathcal{V}^{H}{t}h∈VtH拥有支撑观测集合S(h)⊆VtO\mathcal{S}(h)\subseteq\mathcal{V}^{O}{t}S(h)⊆VtO。
h=(xh,τh,ch,πh,S(h),uh,γh,rh)h=\left(\mathbf{x}{h},\tau{h},c_{h},\pi_{h},\mathcal{S}(h),u_{h},\gamma_{h},r_{h}\right)h=(xh,τh,ch,πh,S(h),uh,γh,rh)
- xh,τh,ch\mathbf{x}{h},\tau{h},c_{h}xh,τh,ch：融合位置、语义类别、置信度
- πh\pi_{h}πh溯源记录：支撑该假设的智能体与观测
- uhu_{h}uh不确定性；γh\gamma_{h}γh证据冲突；rhr_{h}rh规划相关性
可见性vis(h,ai)∈{visible,occluded,uncertain}\mathrm{vis}(h,a_i)\in\{\mathrm{visible},\mathrm{occluded},\mathrm{uncertain}\}vis(h,ai)∈{visible,occluded,uncertain}，是相对于每个智能体的关系标签，不是全局标签。下游任务可以区分自车可见、仅协作车可见、被遮挡假设。
本阶段输出初始协同知识图谱，包含三类节点、类型化关系、可追溯证据变量。后续阶段通过保守关联解析兼容候选假设，补充溯源、可见性、不确定性、冲突、规划相关性。
3.2 保守关联（Conservative Association）
将不同车辆的兼容候选假设关联为共享协同目标假设；观测节点挂载为假设支撑；未匹配观测保留为弱候选，不丢弃。该策略避免把空间接近但实际不同目标错误合并，同时保留仅协作车的观测，用于遮挡、规划推理。
定义门控判定：
δt(vpO,vqO)=1type_match(τp,τq)∧d(xp,xq)\<ϵτp,τq\delta_{t}(v_{p}^{O},v_{q}^{O})=\mathbf{1}\left\\mathrm{type\\_match}(\\tau_{p},\\tau_{q})\\land d(\\mathbf{x}_{p},\\mathbf{x}_{q})\<\\epsilon_{\\tau_{p},\\tau_{q}}\\rightδt(vpO,vqO)=1type_match(τp,τq)∧d(xp,xq)\<ϵτp,τq
- type_match\mathrm{type\_match}type_match：语义类别必须完全匹配；不同类别物体即便空间靠近也不会关联，规避不安全假设；
- d(⋅,⋅)d(\cdot,\cdot)d(⋅,⋅)观测中心距离；ϵτp,τq\epsilon_{\tau_{p},\tau_{q}}ϵτp,τq按类别设置距离阈值。
满足门控条件，计算亲和度分数：
αt,pq={1−d(xp,xq)ϵτp,τq,δt(vpO,vqO)=10,其他 \alpha_{t,pq}= \begin{cases} 1-\dfrac{d(\mathbf{x}{p},\mathbf{x}{q})}{\epsilon_{\tau_{p},\tau_{q}}},&\delta_{t}(v_{p}^{O},v_{q}^{O})=1\\ 0,&\text{其他} \end{cases} αt,pq=⎩ ⎨ ⎧1−ϵτp,τqd(xp,xq),0,δt(vpO,vqO)=1其他
融合位置xh\mathbf{x}_{h}xh由支撑集合S(h)\mathcal{S}(h)S(h)内观测位置做置信度加权平均。
假设置信度采用有界噪声‑或聚合：
ch=1−∏vO∈S(h)(1−c(vO))c_{h}=1-\prod_{v^{O}\in\mathcal{S}(h)}(1-c(v^{O}))ch=1−vO∈S(h)∏(1−c(vO))
注意：chc_hch只作为有界置信度汇总，不是经过校准的概率融合模型。
没有和任何其他观测通过门控的观测，提升为候选假设，具备更低支撑度、更高不确定性。安全导向设计：仅协作车、部分观测得到的物体保留供下游推理，但不视为高可靠检测。
模块输出：高支撑度假设（挂载观测证据）、合并兼容候选、保留弱候选。
3.3 协同上下文增强
对每一个目标假设，从支撑关系、可见性、相对几何、自车运动上下文导出上下文特征。增强分为五大类：
| 增强类别 | 下游推理作用 |
|---|---|
| 溯源与支撑 | 记录来源智能体、支撑计数、自车/协作车/协同状态，用于追溯证据来源 |
| 智能体可见性 | 存储相对每台智能体的可见性，用于遮挡、隐藏目标推理 |
| 不确定性与可靠性 | 标记弱、模糊、候选假设，避免被当作完全可靠检测 |
| 跨智能体证据冲突 | 记录不同智能体之间几何、语义不一致，暴露冲突证据 |
| 规划相关性 | 存储轨迹邻近度、运动线索、控制上下文 |
对目标假设hhh生成增强向量：
ϕ(h)=ϕprov(h),ϕvis(h),ϕunc(h),ϕdis(h),ϕplan(h)\phi(h)=\left\\phi_{\\mathrm{prov}}(h),\\phi_{\\mathrm{vis}}(h),\\phi_{\\mathrm{unc}}(h),\\phi_{\\mathrm{dis}}(h),\\phi_{\\mathrm{plan}}(h)\\rightϕ(h)=ϕprov(h),ϕvis(h),ϕunc(h),ϕdis(h),ϕplan(h)
图谱导出特征向量ψ(h)\psi(h)ψ(h)拼接目标状态属性（位置、语义类别、置信度、运动线索）与增强向量ϕ(h)\phi(h)ϕ(h)。
输出增强完成的协同知识图谱；下游模块通过ψ(h)\psi(h)ψ(h)查询每一条假设，不需要重新从原始观测重新计算证据。
3.4 统一知识图谱任务头
增强后的知识图谱为不同输出格式的任务头提供共享证据状态。任务头分为三类：
| 任务头家族 | 下游推理功能 |
|---|---|
| 选择与可见性推理 | 利用图谱证据检索可见、被遮挡、隐藏、规划相关目标 |
| 运动与交互预测 | 基于状态、运动、支撑证据、不确定性、相对路径几何预测物体/智能体行为 |
| 控制与轨迹规划 | 基于风险、规划相关性、几何、轨迹上下文预测控制量或者未来航点 |
对任务家族kkk，任务头：
yk=Rk (Gt,{ψ(h):h∈VtH})y_{k}=R_{k}\!\left(\mathcal{G}{t},\{\psi(h):h\in\mathcal{V}^{H}{t}\}\right)yk=Rk(Gt,{ψ(h):h∈VtH})
RkR_kRk可以是确定性检索排序函数，也可以是作用于ψ(h)\psi(h)ψ(h)的轻量学习预测器。学习头完成运动回归、场景级预测、控制选择、轨迹预测，同时维持证据可追溯性。
设计解耦图谱构建与任务推理：每一场景只构建一份溯源协同知识图谱；各个任务头按需挑选自己需要的证据。本文实现的任务头覆盖：目标接地、可见性/遮挡推理、规划感知目标筛选、运动预测、控制选择、未来轨迹预测。
4 实验分析
4.1 实验设置
基准数据集：V2V4Real提供真实世界同步V2V场景，包含联网车辆、目标标注、智能体位姿、时间戳、处理完成感知工件。V2V‑GoT‑QA在此基础上扩展类型化目标选择、可见性推理、运动预测、控制选择、轨迹预测任务。使用官方数据集划分，训练集约110k问答，验证集约31k问答，全部评测运行在验证集。
评测指标
- 目标选择、可见性推理：F1@0.5m（预测与真值坐标阈值匹配），越高越好；
- 运动、轨迹输出：L2误差，越低越好；
- 智能体运动：分类准确率，越高越好；
- 控制选择：归一化动作L1误差，越低越好。
基线
主对比基线V2V‑GoT；通信效率对比基线：No Fusion、AttFuse、V2X‑ViT、CoBEVT、V2V‑LLM、V2V‑GoT。
实现细节
全部实验基于处理完毕的协同感知工件（目标框、置信度、智能体位姿、轨迹上下文、场景元数据）。图谱构建完成后输出三类视图：目标检索视图、运动回归视图、场景‑动作预测视图。
- 目标检索：逻辑回归排序器；
- 运动预测：正则回归头；
- 动作预测：轻量分类器；
实验环境Linux，8核CPU，24GB内存。
4.2 实验结果
| 任务 | 任务类别 | 指标 | G‑MARK | V2V‑GoT | 提升幅度 |
|---|---|---|---|---|---|
| Notable Objects (Q1) | 可见目标接地 | F1@0.5m ↑ | 0.586 | 0.525 | +11.6% |
| Occluding Objects (Q2) | 遮挡推理 | F1@0.5m ↑ | 0.428 | 0.301 | +42.2% |
| Invisible Objects (Q3) | 隐藏目标发现 | F1@0.5m ↑ | 0.494 | 0.440 | +12.3% |
| Planning Awareness (Q4) | 规划相关性推理 | F1@0.5m ↑ | 0.614 | 0.608 | +0.9% |
| Object Motion (Q5) | 目标运动预测 | L2 avg. ↓ | 3.822 | 8.050 | +52.5% |
| Agent Motion (Q6) | 智能体运动预测 | Accuracy ↑ | 0.905 | 0.874 | +3.5% |
| Object Motion (Q7) | 目标运动预测 | L2 avg. ↓ | 3.822 | 7.610 | +49.8% |
| Control Settings (Q8) | 控制选择 | Action L1 ↓ | 0.076 | 0.088 | +13.1% |
| Future Trajectory (Q9) | 未来轨迹预测 | L2 avg. ↓ | 2.710 | 2.620 | -3.4% |
结果解读：9项任务中8项优于V2V‑GoT；遮挡推理、隐藏目标发现收益最大；未来轨迹预测L2误差和基线接近。
通信开销对比
- 中间融合、语言协同基线：单样本通信载荷约0.4008‑0.4068MB；
- G‑MARK仅0.0159MB ，对比中间融合方法降低约25.2倍，对比V2V‑GoT降低25.6倍 。
依靠传输紧凑的知识图谱证据，而不是稠密特征、大段语言payload，在轨迹规划精度接近前提下大幅降低通信带宽。
端到端CPU时延
上游感知输出工件之后，G‑MARK推理层CPU开销很低：任务求解时间大部分样本小于1.4ms；当前帧任务总CPU时延10.3‑14.2ms；时序运动任务32.4‑33.4ms；大部分耗时来自场景加载，图谱推理本身不是瓶颈。
4.3 消融实验
固定任务头，修改知识图谱证据输入，观测任务指标变化：
- 移除协作车观测：隐藏目标发现F1从0.494直接降到0.000；证明隐藏目标发现完全依赖协作车辆的外部观测证据；自车视角表征无法恢复仅协作车可见目标。
- 移除溯源信息：隐藏目标发现F1从0.494下降至0.396；控制选择L1误差从0.076升高至0.152；来源智能体支撑信息对下游决策至关重要。
- 替换图谱为无结构目标列表：隐藏目标F1下降到0.443；控制L1误差上升到0.089；可见性、不确定性、路径相关性这些图谱结构化特征带来显著增益。
5 结论
本文提出G‑MARK，一套接地多智能体推理框架，将处理完成的协同感知证据转换为具备溯源能力的知识图谱，用于目标推理、运动预测、控制选择、轨迹预测。
在V2V‑GoT‑QA基准上，遮挡推理、隐藏目标发现这类强证据依赖任务获得显著提升；未来轨迹预测精度接近基线，同时通信开销降低25.6倍，CPU推理仅毫秒级开销。实验证明具备溯源能力的协同知识图谱，是协同驾驶领域紧凑、可追溯、通信高效的推理层。