视觉Transformer的"第二次革命"：ViT³如何用测试时训练重构注意力范式
视觉Transformer的"第二次革命"：ViT³如何用测试时训练重构注意力范式
一、一笔越算越大的账：当注意力遇到高分辨率
视觉Transformer（ViT）自2020年问世以来，几乎重塑了整个计算机视觉领域。图像分类、目标检测、语义分割、图像生成------标准Transformer架构在每一个任务上都成为了主流选择。然而，随着图像分辨率越来越高、视频越来越长、多模态输入越来越复杂，一个结构性的成本问题正在变得不可回避。
这个成本的名字叫二次复杂度。
一张图片进入视觉Transformer后，会被拆分成一系列Token。图片分辨率越高，Token数量越多。以一个具体的数字为例：一张1248×1248的图像，在16×16的patch大小下，会产生约6,084个Token；如果patch缩小到8×8，Token数量直接膨胀到约24,336个。标准Softmax Attention需要显式计算不同Token之间的两两关系，其计算和显存成本随Token数量呈二次增长。用公式表达，标准Attention可以简写为 Softmax(QKᵀ)V，真正带来高成本的是 QKᵀ 形成的 N×N 矩阵。当序列长度从6,000增加到24,000时，这个矩阵的规模从3600万暴增到5.9亿------计算和显存开销直接逼近硬件的成本边界。
过去几年，研究者提出了多种线性复杂度方案来缓解这个问题。Linear Attention 的思路是改变计算顺序，将 Softmax(QKᵀ)V 改写为 Q(KᵀV)，先把K和V压缩成一个固定大小的状态，再让Q从中读取信息。由于 KᵀV 的大小与序列长度无关，复杂度降到了O(N)。但代价同样明显：上下文被压缩进一个 d×d 的线性状态中，压缩方式过于粗糙，表达能力可能不足。Mamba和状态空间模型则维护一个固定大小的隐状态，沿着序列逐步更新。相比简单的线性映射，这种状态更新机制更灵活，但仍然需要回答同一个根本问题：当序列越来越长，固定大小的状态真的能承载足够的信息吗？
这两种方案都指向同一个困境：如何在降低计算复杂度的同时，尽可能保留上下文建模能力。
2026年的CVPR上，一篇来自阿里巴巴与清华大学合作的研究给出了一个不同的答案。这篇论文在16,092篇投稿中杀入最佳论文决选（仅15篇入围，最终入选Oral报告）。论文题目是《ViT³: Unlocking Test-Time Training in Vision》，第一作者为清华大学博士生韩东辰，通讯作者为黄高副教授。
它要做的事情，不是发明一种新的注意力计算方式，而是从根本上改变视觉模型保存和调用上下文信息的方式：不再单纯依赖固定公式压缩信息，而是在处理当前输入时，通过一次快速的在线学习，把上下文写入一个紧凑的内部模型。
二、重新理解注意力：从"加权求和"到"构建模型"
要理解ViT³的核心思想，需要先回到一个更基础的视角：注意力到底在做什么？
在传统理解中，注意力计算是用注意力分数对Value进行加权求和。但ViT³的论文提出了一个不同的理解方式：可以把注意力理解为用Context构建一个模型。
对于经典的Softmax注意力，可以将其理解为用当前Context的Key和Value构建了一个两层MLP。MLP的第一个线性层权重是Key矩阵的转置，激活函数是Softmax，第二个线性层权重是Value矩阵。整个注意力计算的过程，就是用Query输入这样一个由Key和Value构造的两层MLP模型。类似地，线性注意力可以理解为用Key和Value构造了一个线性层权重，把Query输入这个线性模型。
因此，两种经典注意力范式都可以理解为用Key和Value构造一个小模型，进而将Query输入这个模型以实现建模。它们的本质区别在于是否进行压缩。Softmax注意力用完整的Key和Value构造两层MLP，不进行压缩，效果很好但成本高昂------这个N×N的MLP在应用于Query时会产生O(N²)的计算成本。线性注意力则对Key和Value进行了极大压缩，直接通过矩阵乘法 KᵀV 将完整的Key和Value压缩到d×d空间。空间和计算复杂度都显著低于不压缩的Softmax注意力。然而，由于d×d空间是完全线性的，压缩方式过于粗糙，线性注意力会导致显著的性能下降。
于是核心问题变得清晰：能否在实现压缩的同时保持模型性能，同时实现高精度和高效性？
答案藏在机器学习领域最成功的压缩算法中：深度学习。深度学习通过梯度下降，把数据信息压缩到紧凑的模型权重空间中，通常能够实现十倍甚至百倍的压缩率。测试时训练（Test-Time Training，TTT）正是尝试在序列建模任务中复现这一过程------不是用固定公式压缩，而是用梯度下降来学习如何压缩。
TTT的具体工作机制值得展开说明。在处理一段序列时，TTT维护一组可更新的内部模型权重（通常称为fast weights）。对于每个到来的Key-Value对（在视觉任务中就是图像Token），模型计算一个内部损失------比如让内部模型在给定Key时预测Value------然后通过一次梯度下降更新内部权重。当需要处理Query时，模型使用更新后的内部权重进行前向计算，输出预测结果。这意味着，内部模型不是通过一个固定的公式从Key和Value中"读出"信息，而是通过学习把Key-Value对中的信息"写入"权重空间。这个过程与人类在观察中不断修正认知的方式高度相似：你不是把看到的一切都存进短期记忆，而是在每次观察后微调自己对世界的内部模型。
不同于确定性的模型设计，这一范式开启了一个丰富的线性复杂度设计空间，有望实现高精度的高效序列建模。但设计空间越大，设计难度也越大------这正是ViT³要解决的核心问题。
三、六条设计原则：从"能跑"到"跑得好"
然而，TTT灵活的设计空间是一把双刃剑。当前测试时训练模型缺少系统性的理解和设计原则：如何从丰富的设计空间中构建一个理想的视觉TTT模型、如何实现进一步提升，都是极具挑战的问题。ViT³的贡献正在于此：它在视觉领域系统性地研究了测试时训练模型的构建和效果，通过一系列实验和分析，总结了高精度、高效视觉TTT模型的六条设计原则，并基于这些原则构建了纯TTT架构的ViT³模型。
论文从内部模块的选择和内部训练的策略两个维度进行了系统探索。
Insight 1：混合二阶导数趋于零的损失函数不适用于TTT。 TTT的内部训练是在线进行的，但它的整个过程需要与外部模型进行端到端联合优化。这意味着，外部梯度需要穿透内部训练的更新步骤，才能传到上游层。这个"穿透"过程涉及内部损失对内部权重的二阶导数。采用MAE（L1）损失时，其一阶导数是符号函数，二阶导数几乎处处为0------梯度在穿透内部更新步骤时直接断裂，模型性能最差，Top-1准确率仅为76.5%。而没有此问题的MSE（L2）损失和点积损失则能稳定达到79%左右。这条原则揭示了TTT设计中的一个隐蔽陷阱：损失函数的选择不能只看它作为"训练目标"是否合理，还要看它作为"梯度通道"是否通畅。
Insight 2：单Epoch的全Batch内部训练最适合视觉任务。 在语言模型中，由于数据的因果性，小Batch的渐进式更新效果更好------每次只看几个Token，逐步更新内部模型。但视觉任务是非因果的，模型可以同时看到完整的图像信息。因此，一次性地用完整Batch进行内部训练，反而比多次小Batch渐进更新更有效。这个差异源于视觉与语言在数据结构上的根本不同：语言是严格有序的，视觉是全局可及的。
Insight 4：增加内部模型容量能稳定提升性能。 当内部模型的宽度增加时，其表达能力增强，可以更有效地压缩和存储上下文信息，从而带来稳定的性能提升。这与"更大的模型能装更多知识"的直觉一致，但在TTT的语境下，内部模型的"容量"直接决定了它能从上下文中"记住"多少信息。
Insight 5：深层内部模型在当前TTT设置下存在优化瓶颈。 虽然增加宽度有用，但增加深度却碰了壁。随着内部模型层数从1层增加到3层，1层模型的表现最好，而3层模型的表现最差。深层内部模型在端到端训练时遭遇了严重的优化困难：外循环初始化难以让深层内部模型从合适的起点开始，内循环的梯度在多层传播中容易消失或爆炸。研究发现，标准的残差连接和简单的权重初始化策略对这一问题的缓解作用非常有限。这条原则提醒研究者：TTT的内部模型不是越深越好，在当前训练范式下，浅而宽可能比深而窄更实用。
Insight 6：卷积架构非常适合作为视觉TTT的内部模型。 由于TTT将全局上下文压缩进了内部模型的参数中，如果将内部模型设计为深度可分离卷积（Depthwise Separable Convolution），它能天然地利用视觉信号的局部空间结构，从而比纯MLP或线性层更高效地压缩空间信息。这个发现将TTT与视觉领域的归纳偏置连接了起来：卷积的局部连接和权重共享，恰好匹配了图像中相邻像素高度相关的统计特性。
ViT³的核心发现是：纯TTT架构可以在视觉任务中达到甚至超越现有线性复杂度模型，同时保持并行计算和高推理速度。它在图像分类、图像生成、目标检测和语义分割四类任务上进行了全面评估，一致性地匹配或超越了Mamba和线性注意力等先进线性复杂度模型，并有效缩小了与高度优化过的Vision Transformer之间的差距。
四、性能数据：显存降90.3%，速度提升4.6倍
ViT³最令人印象深刻的数据来自效率层面。
在RTX 3090上处理1248×1248 分辨率图像时，ViT³-T的推理速度达到DeiT-T的4.6倍 ，GPU显存消耗降低了90.3% 。换句话说，它只使用接近十分之一的显存，却实现了更高的处理速度。
这个数据在真实场景中意味着什么？一台搭载RTX 3090的边缘设备，原本只能处理512×512左右的图像，现在可以直接处理1248×1248的高分辨率图像------分辨率提升了近6倍，而显存占用反而更低。对于自动驾驶、机器人视觉、医疗影像分析这些对分辨率高度敏感的应用场景，这个提升是实质性的。以医疗影像为例，病理切片的诊断精度高度依赖分辨率，但全切片图像动辄数十亿像素，传统ViT在推理时显存直接溢出。ViT³的线性复杂度使得这类高分辨率场景第一次变得"可部署"。
更重要的是，ViT³是纯TTT架构，不是对现有Transformer的修补，而是从底层重新构建的序列建模范式。它保持了线性计算复杂度和可并行计算，这意味着它可以在现代GPU上高效运行，而不需要为特定的硬件做特殊适配。
在图像生成任务上，ViT³同样表现出了竞争力。由于TTT的内部模型可以通过梯度下降学习到上下文的紧凑表示，它在生成任务中能够维持长程一致性，同时在推理速度上显著优于同等精度的Transformer基线。在目标检测和语义分割任务上，ViT³与Mamba和线性注意力模型相比，在相同计算预算下取得了更高的精度，证明了TTT在密集预测任务上的适用性。
五、与Spatial-TTT的呼应：TTT正在成为视觉领域的共同语言
ViT³并不是TTT在视觉领域唯一的探索。2026年被ECCV接收的Spatial-TTT从另一个角度使用了同样的核心机制：它把fast weights作为一种紧凑的非线性记忆，从无界视频流中持续积累和组织3D空间证据。
在架构上，Spatial-TTT在Decoder中每4层注意力有3层改成TTT层，专门负责长视频里空间时序信息的动态压缩和增量更新，同时保留25%的全注意力锚点层来维持跨模态对齐和逻辑推理能力。为了应对流式视频的持续输入，Spatial-TTT设计了滑动窗口KV Cache 和TTT Pending缓存两个组件：滑动窗口仅维护固定长度的局部上下文，TTT Pending缓存作为增量累积单元，一旦达到Chunk大小便触发一次快权重更新后立即清空。这个设计使得显存占用保持恒定，而不是像传统Transformer那样随视频长度线性膨胀。
为了让快权重真正"看懂"三维空间，Spatial-TTT在TTT层上加入了3D时空卷积，弥补逐点投影打碎空间结构的问题，并使用Muon优化器稳定在线更新。实验结果显示，Spatial-TTT-2B在VSI-Bench上取得64.4的总体平均分，能够处理最长120分钟的流式视频。
这两个工作的共同信号是清晰的：TTT正在从语言建模的边缘技术，变成视觉领域解决"长上下文+高分辨率"问题的共同基础设施 。ViT³回答的是"在静态图像上如何用好TTT"，Spatial-TTT回答的是"在流式视频中如何用好TTT"。它们从不同的问题出发，却收敛到了同一个核心设计选择：把记忆从外部缓冲区移入模型内部的快速权重中。
六、一条不同的路：为什么这比"更大的模型"更值得关注？
2026年的AI领域，Scaling Law依然是主旋律。更大的模型、更多的数据、更强的算力------这似乎是通往智能的唯一道路。但ViT³提供了一种不同的思考方式。
它最核心的启示在于：处理长序列的关键，不是把窗口做得更大，而是让模型学会更好地"压缩"信息。当序列越来越长，一个固定大小的内部模型------如果训练得当------可能比一个不断膨胀的KV Cache更有效。Spatial-TTT在120分钟长视频上的显存数据也印证了这一点：滑动窗口KV Cache仅维护固定长度的局部上下文，TTT Pending缓存仅作为增量累积单元，一旦达到Chunk大小便触发一次快权重更新后立即清空，显存占用保持恒定。
从技术路线上看，ViT³和Spatial-TTT把重心从"改变注意力的计算方式"转向了"改变上下文的存储和调用方式"。它们用"会更新的内部模型"代替"会膨胀的注意力矩阵"，这条路的价值不仅在于效率，更在于它开辟了一个全新的设计空间。ViT³论文的作者们希望这项工作能为未来视觉TTT的研究提供一个有力的基线，而它总结的六条设计原则，正在成为这个新空间里的第一份地图。
七、局限与开放问题：TTT视觉化远未完成
在肯定ViT³价值的同时，也需要清醒地看到这条路径尚未解决的问题。
第一，内部训练的稳定性。 Insight 5已经指出，深层内部模型存在严重的优化瓶颈。这意味着TTT内部模型的表达能力受限于"能训多深"，而当前的最优解是浅而宽------这本身就是一个妥协。如果未来任务需要更复杂的内部表示，现有的训练范式可能无法支撑。
第二，内外循环的联合优化仍然困难。 TTT的核心是内循环（在线更新内部权重）和外循环（端到端训练整个模型）的嵌套。外循环的梯度需要穿透内循环的更新步骤，这在计算上昂贵，在数值上不稳定。ViT³通过损失函数选择、训练策略设计来缓解这个问题，但没有从根本上解决它。更高效的嵌套优化算法，仍然是一个开放的研究方向。
第三，与预训练多模态模型的融合。 Spatial-TTT的"3:1混合架构"提示了一个重要方向：TTT层不能完全替代注意力层，而需要与注意力层协同。如何在保留预训练VLM语义能力的同时最大化TTT的效率收益，是一个需要精细平衡的工程问题。
第四，评估的标准化。 ViT³在分类、生成、检测、分割四类任务上做了评估，但不同任务的最佳TTT配置差异很大。目前还没有一个统一的基准来衡量"一个TTT视觉模型到底有多好"，不同论文之间的横向比较仍然困难。
这些局限并不意味着TTT路径走不通，而是说明它仍然处于早期。ViT³的价值在于，它用六条可复现的设计原则，把这个早期阶段从"凭直觉试"推进到了"按原则建"。
阿里巴巴长期关注多模态大模型与新一代交互体验。随着AI逐渐进入真实生活场景，模型需要处理的视觉信息正在变得越来越复杂------更高清的图片、更长的视频，以及持续增长的多模态上下文。如何在控制算力成本的同时，让模型看得更清楚、理解得更完整，已经成为多模态技术走向实际应用时必须面对的问题。ViT³所探索的，正是这一底层能力。它用六条设计原则、一个纯TTT架构、以及90.3%的显存降幅证明：视觉模型的未来，不在于更大的注意力矩阵，而在于更聪明的信息压缩方式。