题目**：**Explainable Task-Oriented Token Communication for AI-Native 6G Networks
作者：江沸菠，毛磊，董莉，王可之，潘存华，王江舟
来源：Arxiv
论文地址：https://arxiv.org/abs/2606.14808(查看全文请点击原文链接）
摘要：基础模型（Foundation Models, FMs）与无线通信的融合，正推动图像通信从传统的比特精确传输范式向任务导向传输范式演进。然而，现有任务导向图像通信方法仍面临三方面关键挑战：任务导向的Token表征能力不足、视觉Token与任务Token之间协同机制不充分，以及任务决策过程的可解释性有限。针对上述问题，本文提出一种可解释任务导向Token通信框架（Explainable Task-Oriented Token Communication, ET-TokenCom）。该框架将Token作为信息表示与传输的统一基本单元，构建了一个贯穿视觉感知、无线传输与任务推理的端到端通信链路。在发送端，ET-TokenCom框架首先从图像中提取视觉Token（Visual Tokens），以保留底层视觉信息。同时，引入由基础模型生成的任务Token（Task Tokens），用于表征当前任务所需的目标信息与决策意图。在此基础上，进一步设计跨模态注意力（Cross-Modal Attention, CMA）融合机制，使任务Token能够显式引导视觉Token的选择、加权与传输过程。在接收端，该框架将Token解码与可解释输出机制相结合，通过生成注意力热力图，在不同任务目标下突出关键感知区域，并揭示任务Token对模型输出结果的影响范围。最后，仿真结果验证了所提出ET-TokenCom框架的有效性与鲁棒性。
1. 引言
随着基础模型（Foundation Models, FMs）与无线通信技术的快速融合，图像通信正从以像素级保真为目标的传输范式，向面向智能任务感知的传输范式演进。与传统图像通信主要关注图像重建质量不同，基础模型能够通过视觉理解、上下文建模、任务意图解析以及先验推理等能力，辅助图像通信系统识别与任务相关的目标、区域及结构信息。同时，其还能够在接收端支持视觉重要性评估、冗余特征压缩以及鲁棒恢复，从而在有限带宽与复杂信道条件下提升图像传输效率与任务完成能力。
然而，尽管基础模型为图像通信提供了视觉理解与任务推理能力，现有方法仍难以实现任务目标、视觉信息选择与无线传输之间的深度协同。具体而言，现有研究大致可分为两类。第一类方法侧重于像素级语义传输，通常以图像重建质量作为优化目标。此类方法能够有效保留纹理、边缘、颜色及结构细节等低层视觉信息，适用于高保真图像重建场景。然而，该类方法缺乏对任务目标的显式建模，容易传输大量冗余信息，使有限通信资源难以有效集中于任务完成。第二类方法侧重于任务级语义传输，通过提取与目标对象或任务意图相关的高层信息，以降低传输开销并提升任务效用。然而，这类方法在压缩与传输过程中可能丢弃可验证的视觉证据，例如局部纹理、边缘轮廓、空间结构与目标边界，从而削弱系统的可解释性与可信性。因此，基于基础模型增强的图像通信仍面临以下三项关键挑战：
1）任务导向Token表征不足： 尽管基础模型具备视觉内容理解以及任务意图与上下文建模能力，但尚未建立能够直接受任务目标驱动的Token表征机制。现有图像特征主要由视觉编码器自动生成，其设计目标主要面向图像压缩与特征重建，缺乏对任务相关性、视觉重要性以及信道传输约束的联合刻画。换言之，当前系统仍难以将任务所需的关键信息转化为可选择、可传输的Token单元，使得发送端缺乏显式的任务导向信息组织机制。
2）视觉Token与任务Token协同不足： 即使视觉Token与任务Token能够分别获取，但如何构建二者之间的有效协同关系仍是关键难题。视觉Token主要承载局部纹理、边缘轮廓、目标区域及空间结构等低层视觉证据，而任务Token则刻画当前任务所关注的目标、区域与意图。在缺乏深度交互的情况下，系统可能产生两类问题：一方面传输大量与任务无关的视觉冗余；另一方面由于过度依赖高层任务信息而削弱关键视觉证据。
3）任务决策可解释性有限： 在任务导向图像通信中，系统不仅需要输出最终任务结果，还应能够解释哪些视觉信息被增强、哪些视觉信息被抑制，以及任务Token如何影响最终输出结果。否则，即使接收端获得较好的任务性能，也难以判断结果是否基于合理的视觉证据。在自动驾驶、医疗辅助等高风险应用场景中，可解释性的缺失将直接影响系统可信部署、责任追溯与决策安全性。
在此背景下，Token通信（Token Communication, TokenCom）为下一代任务导向图像通信提供了一种具有前景的实现路径。作为连接视觉感知、语义理解与任务推理的基础信息单元，在基础模型时代，Token能够在统一表示框架下对跨模态、跨抽象层级的视觉信息与任务信息进行组织与表达。因此，本文提出一种可解释任务导向Token通信框架（Explainable Task-Oriented Token Communication, ET-TokenCom），旨在构建一种同时兼顾任务有效性与系统可解释性的Token级通信系统。本文的主要贡献总结如下：
1）双分支Token编码： 本文构建了一种由低层视觉感知分支与高层任务引导分支组成的双分支Token编码结构。低层分支通过视觉编码器从原始图像中提取多尺度视觉Token（Visual Tokens），以保留包括局部纹理、边缘轮廓、空间结构以及区域关系在内的视觉证据。高层分支则利用预训练基础模型（FM）提取任务Token（Task Tokens），用于表征当前任务所强调的决策目标、区域意图以及先验信息。通过该双分支结构，系统能够同时获得可传输的视觉Token与任务Token，为后续Token选择、增强与鲁棒传输奠定基础。
2）跨模态注意力融合： 本文提出跨模态注意力（Cross-Modal Attention, CMA）融合模块，用于在高层任务Token与低层视觉Token之间建立显式关联机制。具体而言，将任务Token作为Query，以表达任务导向的注意力需求；将视觉Token作为Key与Value，用于承载视觉证据。通过CMA计算，模型能够生成任务感知权重，从而增强关键视觉Token、抑制冗余信息，并动态调制视觉Token的传输重要性。该设计在有限带宽与噪声信道条件下，有效提升了Token传输效率与任务完成质量。
3）基于热力图的可解释输出： 本文进一步在任务导向Token通信输出过程中嵌入可解释机制。通过注意力热力图对系统在不同任务场景下关注的关键区域进行可视化，从而揭示相应的决策依据。同时，该机制能够展示任务Token如何影响视觉Token的选择、增强、传输与恢复过程。由此，接收端不仅能够获得任务相关输出结果，还能够追溯任务结果所依赖的视觉证据，从而提升系统的透明性、可信性与决策安全性。
本文其余部分结构安排如下：第二部分讨论任务导向Token通信与可解释Token通信的系统架构；第三部分详细介绍所提出的ET-TokenCom框架；第四部分给出实验结果；第五部分讨论若干开放性问题；第六部分总结全文。
2. 可解释与任务导向Token通信：原理与体系结构
2.1 TokenCom及相关工作
Token通信是一种新兴的通信范式，其将Token视为信息表示、处理与通信自适应的基本单元。与传统通信系统基于比特流、符号序列或连续特征进行编码与传输不同，TokenCom将源信息映射为结构化、可压缩、可组合且能够被基础模型理解的离散Token表示。同时，该范式支持在Token层面进行信息选择、特征处理、信道编码与无线传输。由于Token不仅具备信息承载能力，还具有与基础模型的交互兼容性，TokenCom能够在通信系统与基础模型之间建立统一接口，从而推动通信范式从低层数据传输向任务导向与智能驱动通信演进。近期研究从三个方面验证了TokenCom作为基础模型增强通信系统统一接口的潜力。首先，已有工作提出了Token化表示方法，将图像、文本、语音以及上下文知识等异构信息映射至共享表示空间，从而支持通信系统从数据重建向任务理解与任务执行的转变。其次，研究者探索了Token---信道自适应机制，通过联合优化Token重要性、信道状态与资源分配，在有限带宽与动态信道条件下提升传输效率与鲁棒性。第三，面向资源受限与任务驱动场景，已有自适应Token选择与压缩传输机制被提出，用于在保留下游任务关键信息的同时减少冗余Token。然而，现有TokenCom研究主要集中于Token表示、压缩传输与鲁棒恢复，而对任务导向性与可解释性的关注仍然不足。因此，构建一种同时支持任务有效性、信道鲁棒性与决策可解释性的TokenCom框架，将成为基础模型赋能下一代智能通信系统的重要研究方向。
2.2 任务导向TokenCom
任务导向TokenCom是一种以任务完成为核心目标的Token级通信范式。其基本思想并非完整传输原始数据，也非对全部视觉特征进行统一压缩，而是根据当前任务需求，将源信息组织为具有明确功能语义的Token表示。在Token层面完成信息选择、特征压缩、信道传输与任务恢复。任务导向TokenCom的系统架构如图1(a)所示，主要由以下四个组件构成：
**1）任务感知Tokenizer（Task-Aware Tokenizer）：**该模块将输入数据转换为结构化Token表示，并刻画不同Token与当前任务目标之间的相关性。与仅进行数据映射的传统Tokenizer不同，该模块进一步识别与关键区域、目标对象或任务相关线索对应的高价值Token，从而为后续Token编码提供任务感知输入。
**2）任务引导Token编码器（Task-Guided Token Encoder）：**该模块接收任务感知Token表示，并将其映射为适用于无线信道传输的编码表示。其核心特征在于根据不同Token对任务的贡献程度进行差异化编码，使关键Token获得更强的信道保护或更多通信资源，而次要Token则被压缩、融合或弱化，从而实现任务驱动的Token调度与通信资源自适应分配。
**3）任务引导Token解码器（Task-Guided Token Decoder）：**该模块在接收端从受噪声污染的信道输出中恢复Token表示，并优先重建任务关键Token。对于受干扰、缺失或失真的Token，该模块能够结合上下文信息、任务先验以及模型推理能力进行补全与修正，从而提升复杂信道条件下的任务完成性能与系统鲁棒性。
**4）任务导向Detokenizer（Task-Oriented Detokenizer）：**该模块将恢复后的Token表示映射为最终任务输出，例如分类标签、目标检测框或控制动作等。与传统数据重建不同，该模块不以完整恢复原始数据为目标，而是依据任务需求生成用于决策、识别、预测或控制的结果，从而在有限通信开销条件下支持接收端完成目标任务。
2.3 可解释Token通信
可解释Token通信（Explainable TokenCom）是一种新型通信范式，其在Token级通信过程中显式引入可解释性机制。其核心目标不仅在于以Token作为信息表示、处理与传输的基本单元，从而提升通信效率与任务完成性能，同时还在于揭示任务目标、Token选择、传输保护与最终输出之间的内在关联关系。可解释Token通信的系统架构如图1(b)所示，主要由以下四个组件构成：
1）属性感知Tokenizer（Attribution-Aware Tokenizer）： 该模块将输入数据转换为结构化Token表示，同时记录每个Token的来源属性与任务相关性。具体而言，该模块为每个Token建立与其内容及重要性依据相关的关联信息，例如该Token来源于图像的哪个区域、对应何种目标或语义线索，以及其被保留或增强的原因。通过该机制，为后续编码、传输与可解释性分析提供可追溯的输入基础。
**2）可解释Token编码器（Explainable Token Encoder）：**该模块接收由属性感知Tokenizer生成的Token表示，并将其映射为适用于无线信道传输的编码形式。在执行压缩与信道保护的同时，该模块保留Token的重要性信息、来源信息及选择依据，使得发送端的Token筛选、编码与资源分配过程具备可追溯性，从而支持对传输决策的解释与分析。
**3）可解释Token解码器（Explainable Token Decoder）：**该模块从受噪声污染的信道输出中恢复Token表示，并对不同Token的失真程度、可靠性以及任务影响进行评估。该模块不仅判断各Token是否成功恢复，还进一步分析关键Token是否受到信道损伤，以及其失真是否会影响最终任务结果。因此，该模块为系统提供可靠性评估与误差来源追踪能力。
**4）基于理由感知的Detokenizer（Rationale-Aware Detokenizer）：**该模块在将恢复后的Token映射为最终任务输出（如分类、检测、控制或问答结果）的同时，生成支撑该输出的解释性信息。具体而言，该模块不仅输出任务结果，还揭示哪些Token对最终决策贡献更大，从而构建从Token选择、信道传输到任务决策的可追溯解释链路。
图1：任务导向与可解释Token通信架构：（a）任务导向Token通信；（b）可解释Token通信。
****3.可解释任务导向Token通信框架
所提出的ET-TokenCom框架由四个阶段构成：双分支Token编码、跨模态注意力（CMA）融合、Token级信道传输以及可解释Token解码，如图2所示。
图2：所提出的可解释任务导向Token通信框架
3.1 整体工作流程
**1）双分支Token编码（Dual-Branch Token Encoding）：**该模块首先通过初始Token化过程将输入图像转换为基础Token表示，随后分别输入低层视觉感知分支与高层任务引导分支进行编码。低层分支通过视觉编码器提取多尺度视觉Token，用于表征细粒度视觉证据，包括局部纹理、边缘结构、目标轮廓以及空间关系等信息。高层分支则利用预训练基础模型（FM）生成任务Token，用于刻画当前任务中需要重点关注的目标、区域及相关证据信息。
**2）跨模态注意力融合（Cross-Modal Attention Fusion, CMA）：**在获得低层视觉Token与高层任务Token之后，系统需要建立从任务Token到视觉Token的显式引导关系。为此，本文设计跨模态注意力融合模块，其中高层任务Token作为任务引导信号，低层视觉Token作为视觉证据载体。通过注意力权重计算，该模块对视觉Token进行任务驱动调制：增强与任务目标高度相关的Token，同时适当抑制冗余或弱相关Token。此外，融合后的任务引导视觉Token进一步进行压缩，并映射为适用于无线信道传输的编码表示，从而实现关键视觉信息的鲁棒传输。
**3）Token级信道传输（Token-Level Channel Transmission）：**在完成CMA融合之后，Token通过无线信道进行传输。在传输过程中，信道噪声会对Token表示引入扰动。由于在编码与融合阶段已依据任务目标对关键视觉Token进行了增强，并对冗余信息进行了抑制，因此进入信道的Token表示具有更高的任务相关性以及更紧凑的信息分布特征。
**4）可解释Token解码（Explainable Token Decoding）：**在接收端，Token解码器从受噪声扰动的Token表示中逐步重建空间响应结构，并生成与任务相关的注意力热力图。这些热力图直观展示系统在任务执行过程中关注的关键区域，例如目标对象、重要结构以及交互区域等信息。由此，可揭示任务目标、关键视觉区域与最终输出结果之间的内在关联关系。
3.2 Token编码--解码模块
Token编码--解码模块旨在实现视觉Token的压缩表示、信道自适应传输以及空间特征重建。其整体结构如图3所示。该模块主要由标准卷积（Conv）模块与本文提出的Conv-Attn模块构成。Conv-Attn模块首先采用Inception风格的多分支卷积结构，对中间特征图进行空间投影，从而提取具有不同感受野的多尺度局部特征。随后，各分支特征输入自注意力模块，以建模空间区域之间的长程依赖关系。最终，将各分支输出进行拼接并重塑为空间特征图，使紧凑的Token表示同时保留局部细节与全局上下文信息。基于该结构，Token编码--解码模块的具体设计如下。
**1）浅层特征提取（Shallow Feature Extraction）：**输入图像首先通过三个卷积模块，以提取高分辨率的低层视觉信息，如边缘、纹理、颜色变化以及局部结构等。该阶段的核心目标是保留图像中可验证的局部视觉证据，从而为后续深层Token压缩提供稳定的特征基础。不同于强调任务目标的高层任务Token，浅层视觉Token主要源于图像本身内容，侧重捕获支撑任务执行的细粒度视觉线索。
**2）深层视觉Token压缩（Deep Visual Token Compression）：**在完成浅层特征提取后，Token编码器进一步通过三个Conv-Attn模块对视觉特征进行基于注意力的编码。随着网络深度增加，特征图分辨率逐渐降低，而感受野与上下文建模能力逐步增强。该阶段将局部视觉特征组织为更加紧凑的深层视觉Token，在保留空间结构与局部视觉证据的同时，使其成为适用于后续注意力调制与无线传输的信息单元。
**3）深层视觉Token恢复（Deep Visual Token Recovery）：**在接收端，经无线信道传输的任务导向Token输入至Token解码器。该过程可视为深层视觉Token压缩的逆过程。具体而言，采用三个Conv-Attn模块逐级将紧凑Token表示扩展为高分辨率空间特征。与发送端侧重压缩不同，解码端更强调恢复Token中保留的空间结构与任务相关视觉证据，从而为后续空间特征重建提供基础。
**4）空间特征重建（Spatial Feature Reconstruction）：**在完成深层视觉Token恢复后，解码器进一步通过三个卷积模块将特征映射为空间响应图。该过程对应于浅层视觉特征提取的逆映射，旨在将压缩后的Token信息重新投影回图像空间。需要强调的是，该模块的目标并非完全重建原始图像，而是生成与任务相关的空间注意力响应，用于刻画不同图像区域对最终任务输出的贡献程度。
图3：Token编码器与解码器结构示意图
3.3 任务Token提取
如图2所示，本文采用预训练视觉-语言基础模型CLIP，从输入图像中提取任务Token。
**1）任务Token生成（Task Token Generation）：**CLIP利用其图像--文本对齐能力对输入图像进行Token编码，从而直接生成任务Token。这些Token用于表征当前任务所强调的决策目标、区域意图以及先验信息。与主要关注局部纹理与空间细节的视觉Token不同，任务Token更侧重任务相关的全局语义信息，并为后续视觉Token的选择与增强提供指导。
**2）共享Token投影（Shared Token Projection）：**由于任务Token来源于预训练视觉-语言基础模型，而视觉Token来源于视觉编码器，两者特征维度通常不一致。因此，引入Token投影模块，将任务Token映射至与视觉Token兼容的共享特征空间，从而为后续跨模态注意力融合提供统一表示基础。
3.4 跨模态注意力融合模块
如图4所示，CMA模块主要由两部分组成：任务感知权重生成与任务引导视觉Token融合。
**1）任务感知权重生成（Task-Aware Weight Generation）：**在共享表示空间中，任务Token被映射为任务Query，视觉Token被映射为视觉Key。模块首先计算任务Query与视觉Key之间的跨模态注意力，并通过Softmax归一化生成任务感知的Token权重。
2）任务引导视觉Token融合（Task-Guided Visual Token Fusion）： 视觉Token进一步被映射为视觉Value，用于表示低层视觉证据。随后，将任务感知权重作用于视觉Value，得到加权视觉Token。在此基础上，CMA模块进一步通过可学习缩放因子对视觉Value进行调制，并与加权结果融合，最终生成任务引导的视觉Token表示。
图4：跨模态注意力机制
****4.仿真结果
4.1 实验设置
本实验在智能车联网（Internet of Vehicles, IoV）场景下模拟图像Token通信任务，其中接收端目标为在安全关键驾驶任务中恢复注意力热力图。该热力图用于表征系统在驾驶决策过程中对关键区域的关注分布。在所提出的ET-TokenCom框架中，任务Token提取模块采用CLIP ViT-B/32实现。视觉Token编码器与解码器采用类自编码器结构构建，分别由三层卷积层与三层Conv-Attn层组成。Token投影层由线性层实现。无线信道模型采用与文献2相似的设置方式构建。实验采用TrafficGaze数据集进行训练。在训练过程中，优化器选用Adam，初始学习率设为1×10⁻³，权重衰减系数设为1×10⁻⁴，训练轮数为100轮，批大小为64。实验损失函数由显著性预测损失与特征重建损失共同构成，其中显著性预测采用二元交叉熵（Binary Cross-Entropy, BCE）损失函数，特征重建采用均方误差（Mean Squared Error, MSE）损失函数。实验基于Python 3.10.19与PyTorch 2.2.0（CUDA 12.4）实现。硬件平台为Intel Xeon 2.6 GHz CPU（约1007 GB内存）以及NVIDIA A800 SXM4-80GB GPU。
4.2 消融分析
本实验主要评估任务Token与跨模态融合机制对可解释任务输出性能的影响。其中，"w/o Task Tokens"表示不引入任务Token及CMA融合的基线模型，"Ours"表示本文所提出方法。采用可视化注意力热力图作为评价方式，用于直观展示不同模型在驾驶场景中关注的空间区域，并分析其是否能够准确捕捉与驾驶安全相关的关键语义信息。如图5所示，仅依赖低层视觉特征的模型主要关注图像中最直接的目标区域，例如前方道路区域，但对与驾驶安全语义相关的区域（如潜在风险目标及附近交通标志）的关注明显不足。相比之下，在高层任务Token引导下的完整模型不仅能够关注视觉显著目标，还能够进一步捕捉与安全驾驶决策相关的语义关联区域，其生成的注意力热力图更符合真实驾驶者的注意力分布。该结果表明，基于任务Token引导的CMA融合机制能够显著增强模型对任务相关语义目标的感知能力。
图5：任务Token引导的消融分析
4.3 鲁棒性分析
本实验用于验证所提出框架在不同信噪比（Signal-to-Noise Ratio, SNR）条件下的任务完成性能与鲁棒性。本文选取SCOUT与CDNN作为基线方法，并在所有方法中统一引入信道干扰，以评估其在无线噪声环境下的性能退化情况与任务恢复能力。采用相似性指标（Similarity Metric, SIM）作为主要评价指标，用于衡量预测注意力热力图与真实驾驶员注意力分布之间的相似程度。SIM值越高，表示模型在复杂交通场景下对驾驶员注意区域的刻画越准确。如图6所示，在所有SNR条件下，所提出方法均取得了高于基线方法的SIM性能。这表明该框架不仅能够在良好信道条件下生成准确的注意力分布，而且在严重噪声干扰条件下仍保持较强的任务鲁棒性。其主要原因在于，高层任务Token与CMA融合机制能够在传输前增强与驾驶安全相关的关键视觉Token，并抑制冗余背景信息，从而使进入信道的Token表示更加紧凑且具有更高的任务相关性。
图6：不同信噪比条件下的鲁棒性分析
5.开放问题
**1）任务自适应Token表征：**本文中，高层任务Token用于引导低层视觉Token的选择与增强。然而，当前任务Token主要仍基于预训练基础模型（FMs）或固定任务先验生成。不同图像通信任务在Token粒度、信息内容类型以及表征层级方面往往存在显著差异。因此，未来研究应进一步探索任务自适应Token表征机制，使任务Token能够根据任务目标、场景变化以及接收端需求实现动态调整，从而提升系统的泛化能力与任务适配性。
**2）任务--信道协同的Token传输机制：**本文主要依据Token的任务相关性对视觉Token进行增强或抑制。然而，在实际无线通信环境中，信噪比（SNR）、带宽资源、干扰水平以及时变衰落等因素会显著影响不同Token的传输可靠性。若仅考虑任务重要性，可能导致关键Token在恶劣信道条件下严重失真。因此，未来研究需要联合建模任务重要性与信道可靠性，构建任务--信道协同的Token选择、保护与传输机制，以提升系统在复杂无线环境中的鲁棒性。
**3）可验证的Token级解释机制：**本文采用注意力热力图来展示任务Token对视觉Token的调制作用，从而反映不同视觉Token对任务输出的重要性。然而，热力图主要提供空间层面的可视化结果，对于关键Token在最终决策中的必要性与稳定性仍缺乏严格量化能力。因此，未来可引入Token遮挡（occlusion）、反事实替换（counterfactual replacement）以及因果干预（causal intervention）等方法，推动可解释Token通信从"可视化解释"向"可验证解释"演进。
6. 结论
本文围绕任务导向图像Token通信中的任务有效性、信道鲁棒性与决策可解释性问题展开研究，提出了一种ET-TokenCom框架。该框架将Token作为统一的信息表示与处理基本单元，通过融合低层视觉Token表示、高层任务Token引导以及跨模态注意力机制，有效增强了与任务相关的视觉Token表达能力，抑制了冗余信息，并实现了在噪声信道条件下的鲁棒传输。同时，该框架通过注意力热力图对任务Token对视觉Token响应分布的调制作用进行可视化，揭示了关键视觉区域与最终任务输出之间的内在关联关系，从而提升了系统的透明性与可信性。总体而言，本文推动了Token通信从高效传输范式向兼具任务有效性、信道鲁棒性与决策可信性的智能通信范式演进。
