TimeBridge：用Integrated Attention与Cointegrated Attention分别桥接短期平稳与长期协整的时序预测模型

摘要

非平稳性给多变量时序预测带来显著挑战：序列固有的短期波动与长期趋势既可能导致伪回归，也可能掩盖本质的长期关系。现有方法大多要么消除非平稳性、要么保留非平稳性，却没有充分处理它对短期建模与长期建模的不同影响------消除非平稳性对于避免伪回归、在短期建模中捕捉局部依赖必不可少，而保留非平稳性对于揭示变量间的长期协整关系又至关重要。

为此，作者提出TimeBridge框架，桥接非平稳性与依赖建模之间的鸿沟：把输入序列切成更小的patch，用Integrated Attention缓解短期非平稳性、在每个变量内部捕捉稳定依赖，同时用Cointegrated Attention保留非平稳性、建模跨变量的长期协整。

大量实验表明，TimeBridge在短期与长期预测上都一致取得最先进性能；它在中证500（CSI 500）与标普500（S&P 500）指数的金融预测中表现尤为突出，进一步验证了鲁棒性与有效性。

Q1：这个模型试图解决什么问题？

核心问题是：非平稳性对短期建模与长期建模有方向相反的作用------短期波动的高随机性会在短期建模中诱发伪回归，必须消除非平稳性；而变量间随时间共同运动（co-movement）形成的长期协整，又依赖保留非平稳性才能被揭示。现有方法"要么全消除、要么全保留"，无法同时满足这两个要求。

1. **短期：非平稳导致伪回归：**短期波动具有高随机性、不可预测；例如一次气温骤降可能由台风或冷锋引起，二者本无内在联系，保留非平稳性会在这类无关事件之间建立虚假相关（spurious regression）；

2. **长期：非平稳承载协整：**非平稳性对于捕捉变量间的长期协整关系不可或缺，协整反映变量随时间的共同运动或同步变化；一旦消除非平稳性，这些本质的长期依赖也会被一并抹去；

3. **现有方法的两难：**归一化---反归一化范式（RevIN、Dish-TS、KoPA等）倾向消除非平稳，而NS-Transformer、U-Mixer、DERITS等方法指出过度平稳会降低特征丰富度；二者都没有讲清"消除"与"利用"非平稳之间如何权衡。

Q2：相关研究

依赖建模：通道独立与通道依赖

依赖建模关注如何刻画多变量序列内部的关系，可分为通道独立（CI）与通道依赖（CD）两类。CI方法（如PatchTST、PatchTST后续工作）把每个通道单独建模、刻意排除跨通道交互；CD方法（如iTransformer、Crossformer）显式建模变量间关系。近期研究表明，通道依赖在通道数增多时愈发重要，但在通道数较少、非平稳较强时，激进的跨通道建模也容易诱发伪回归。

非平稳性处理：消除还是保留

图注： 按时序方法对"非平稳性处理（归一化）"与"依赖建模"两个维度的分类。平稳类（Stationary）通过Eliminate Non-stationarity接入，代表有RevIN、Dish-TS、KoPA、SAN；非平稳类（Non-Stationary）通过Keep Non-stationarity接入，代表有NS-Transformer、U-Mixer、DERITS；依赖建模再分通道独立（CI）与通道依赖（CD）。TimeBridge用Integrated Attention与Cointegrated Attention把两条路线桥接起来。

为缓解非平稳性，RevIN在建模前归一化、再用其分布特性反归一化；Dish-TS、KoPA、SAN等进一步设计更精细的归一化。另一方面，NS-Transformer、U-Mixer、DERITS等认为过度平稳会损失信息。TimeBridge的不同之处在于：它不做"二选一"，而是认识到非平稳性对短期、长期建模的不同影响，用两种注意力分别处理短期单变量关系与长期跨变量协整。

Q3：作者是如何解决的？

结构总览

给定输入窗口X，TimeBridge由四个关键组件顺序构成：Patch Embedding把输入切成非重叠patch并嵌入；Integrated Attention通过对patch去平稳，建模每个变量内部的时间依赖；Patch Downsampling聚合长期信息、降低复杂度；Cointegrated Attention在保留非平稳的前提下捕捉跨变量的长期关系。

图注： TimeBridge整体架构。中央为Input→Patch Embedding→Integrated Attention→Patch Downsampling→Cointegrated Attention→Projection的主管线；(a)Patch Embedding把输入序列切成非重叠patch并嵌入为token；(b)Integrated Attention对patch做Patch Norm、用归一化patch作Q/K、原始patch作V（Eliminate Non-stationarity）；(c)Patch Downsampling把N个patch下采样聚合为M个；(d)Cointegrated Attention在跨变量间建模（Keep Non-stationarity）。

Patch Embedding

输入窗口X先被切成非重叠patch，每个patch作为一个token；由于patch长度远小于输入长度，X被重塑为若干patch并形式化记为{p1,...,pN}=Patching(X)（式1），再线性映射到D维嵌入P=Embedding({p1,...,pN})（式2）。patch既压缩了长度，又保留了局部信息。

Integrated Attention（消除短期非平稳）

嵌入后的patch仍带短期非平稳，直接在其上建模时间依赖会因patch本身非平稳而导致伪回归。为此先对一个变量内的所有patch做patch级归一化：用带填充的移动平均估计趋势p_i^Trend=AvgPool(Padding(pi))，再减去趋势p′i=pi−p_i^Trend（式3），得到去趋势集合P′c,:={p′1,...,p′N}（式4）。

随后用Integrated Attention捕捉同一变量内的时间依赖（式5-6）：̂Pc,:=LayerNorm(Pc,:+Attention(P′c,:,P′c,:,Pc,:))，再经MLP残差Pc,:=LayerNorm(̂Pc,:+MLP(̂Pc,:))。关键设计是用归一化的P′同时作Query和Key、用原始P作Value，从而生成平稳注意力图并直接作用于Value，无需后续反归一化，使时间依赖建模不受短期非平稳影响。

Patch Downsampling（聚合长期信息）

变量间的长期均衡（协整）往往需要每个patch包含足够长的信息才会显现。先用MLP把N个patch下采样为M个（M<N）：P′c,:=Downsample(Pc,:)（式7）；再以下采样的P′∈R^(M×D)作Query、原始P∈R^(N×D)作Key和Value做注意力Pc,:=Attention(P′,Pc,:,Pc,:)（式8），借助注意力的长程建模能力动态聚合全局信息，让每个patch封装更丰富的长期信息。

Cointegrated Attention（保留长期非平稳）

尽管积分（去平稳）后的短期关系易受伪回归影响，但准确建模变量间长期协整必须保留其固有非平稳。由于每个下采样patch已包含更丰富的长期信息，Cointegrated Attention直接在同一时间区间对所有变量建模P:,n∈R^(C×D)：̂P:,n=LayerNorm(P:,n+Attention(P:,n,P:,n,P:,n))（式9），再经MLP残差（式10）。

该注意力不仅捕捉跨变量的全局协整，还自适应评估协整强度：协整越强、注意力权重越高，弱连接权重越低。最后把嵌入token P∈R^(C×M×D)反patch并投影为输出Y∈R^(C×O)。

Q4：实验效果如何？

数据集与总体设置

图注： 数据集详细描述。长期预测9个数据集（ETTm1/m2/h1/h2、Electricity、Traffic、Weather、Solar-Energy），短期预测4个PeMS数据集，金融预测2个（CSI 500、S&P 500）；表中给出通道数、预测长度、（训练/验证/测试）样本量、采样频率，以及ADF单位根检验与EG协整检验结果。

实验在两张RTX 3090上进行，Adam优化、学习率从{1e-3,1e-4,5e-4}选取，长期预测输入长度固定为720，并采用在时域与频域同时作用的混合MAE损失以稳定训练。ADF检验显示这些数据集均显著非平稳，EG检验则表明Electricity、Traffic等高维数据集存在明显协整。

主结果一：长期预测

图注： 长期预测主结果（MSE/MAE，4个预测步长平均）。对比iTransformer、DeformableTST、TimeMixer、PatchTST、Crossformer、Leddam、ModernTCN、MICN、TimesNet、DLinear等10类强基线，TimeBridge在9个数据集中多数取得最优（加粗）。

TimeBridge一致取得最佳整体表现。即使面对862个通道、高维且时间依赖复杂的Traffic数据集，它也能很好地平衡非平稳性与依赖建模。定量地，相比Transformer类的DeformableTST、CNN类的ModernTCN、MLP类的TimeMixer，TimeBridge分别把MSE/MAE降低1.85%/2.49%、5.56%/4.12%、13.66%/7.58%。

主结果二：短期预测（PeMS）

图注： PeMS数据集短期预测结果（输入96、输出12），指标为MAE/MAPE/RMSE，对比TimeMixer、SCINet、Crossformer、PatchTST、TimesNet、MICN、DLinear、DUET、Stationary、Autoformer、Informer。

PatchTST、DLinear等在长期预测中表现良好的通道独立方法，因PeMS具有很强的跨变量依赖而显著退化；TimeBridge则在这一困难任务上表现鲁棒，甚至超过近期最先进的TimeMixer，凸显其捕捉复杂时空关系的能力。

主结果三：金融预测（CSI 500与S&P 500）

图注： CSI 500与S&P 500金融预测结果。指标含年化收益率ARR、年化波动率AVol、最大回撤MDD、年化夏普比率ASR、卡玛比率CR、信息比率IR；对比动量策略CSM、反转策略BLSW，以及LSTM、Transformer、PatchTST、Crossformer、iTransformer、TimeMixer、TSMixer。

股票价格受公司基本面、行业板块联动、地缘政治等因素影响，呈现高非平稳与板块间强长期协整。TimeBridge通过缓解短期波动、保留板块间长期协整，实现了更强的收益与风险调整后表现：在CSI 500上ARR达0.285、ASR达1.405、CR达1.453，在S&P 500上ASR达1.927、IR达1.842，一致优于现有方法。

消融一：是否在两种注意力中去除非平稳

图注： Integrated Attention与Cointegrated Attention中"是否用patch归一化去除非平稳（+Norm?）"的消融，✓表示去除、×表示保留。

结果表明：在Integrated Attention中去除非平稳、在Cointegrated Attention中保留非平稳（case③）效果最好（Weather .219/.249、Solar .181/.239、Electricity .149/.245、Traffic .360/.255）；反过来，在Integrated中保留非平稳会引入伪回归，在Cointegrated中去除非平稳则丢失长期协整。

消融二：两种注意力的作用与顺序

图注： Integrated Attention与Cointegrated Attention的作用与顺序消融：①仅Integrated、②仅Cointegrated、③Integrated→Cointegrated、④Cointegrated→Integrated（此时下采样替换为上采样）。

①与②都不如③，说明两个组件都有益；④表现最差，因为先建模长期协整关系会丢失重要的短期时间特征。③的固定顺序（先消除短期非平稳、再保留长期协整）最合理。

消融三：两种注意力的CI/CD建模方式

图注： Integrated Attention与Cointegrated Attention建模方式（CI通道独立/CD通道依赖）消融：①都CI、②IA-CD/CA-CI、③IA-CI/CA-CD、④都CD。

对短期（Integrated）做跨变量建模会导致严重伪回归；CI在通道数较少时（如Weather）更好，CD在通道数较多时（如Traffic）更好。③（IA用CI、CA用CD）整体最优，这与"通道数增长、跨通道依赖愈发重要"的发现一致：更多通道使模型能从非平稳序列中提取潜在的长期稳定关系。

分析：注意力图与不同下采样patch数M

图注： 注意力行为分析。(a)Electricity数据集变量内（intra-variate）平稳/非平稳注意力图；(b)Solar数据集变量间（inter-variate）平稳/非平稳注意力图；(c)不同下采样patch数M对各数据集MSE的影响。

变量内：保留非平稳时注意力发散、关注更广时间跨度的多个patch；去除非平稳后注意力集中在相邻时间步，符合"近的时间步更相关"的因果性------非平稳可能让模型把远距离的相似误当因果。变量间：去除非平稳会把注意力收窄到少数依赖，保留非平稳则能捕捉更丰富的协整关系。关于M：对Solar、Traffic等通道多、协整强的数据集，增大M先通过保留长期特征改善预测，但过度下采样增加成本、并损害Weather等少通道数据集，因此需按数据集特性平衡。

分析：Weather真实案例（温度T与露点Tdew）

图注： Weather数据集温度T与露点温度Tdew的真实案例。(a)两种注意力都保留非平稳；(b)两种注意力都去除非平稳；(c)仅Integrated Attention保留非平稳；(d)仅Cointegrated Attention保留非平稳。

露点衡量大气湿度、通常与温度紧密相关；在没有水汽或热源等外部影响时，温差与露点差很小、呈长期协整，而温度因日照、天气系统等外部因素表现出更多短期波动。结果证明：只有在短期建模时消除非平稳才能避免伪回归，同时在长期依赖建模时保留非平稳，才能捕捉变量间潜在的协整。

分析：损失函数与预测可视化

图注： 混合MAE损失与MSE损失的平均结果对比（O∈{96,192,336,720}），并与DeformableTST对照。

混合MAE损失在多数数据集上略优于纯MSE训练，但二者差异不大；无论使用哪种损失，TimeBridge都稳定优于DeformableTST，说明增益主要来自架构本身。

图注： 股票板块的短期波动与长期协整可视化。Banks（银行）、NBFIs（非银金融机构）、Retails（零售）三类板块在2018--2024年的价格：既存在共同的长期协整（Long-term Cointegration），非银板块又表现出明显的短期波动（Short-term Fluctuations）。

图注： Electricity数据集上不同模型的预测可视化（取最后96步输入、预测后续），对比TimeBridge、iTransformer、PatchTST、TimeMixer、TimesNet、ModernTCN、DLinear、PDF；TimeBridge的预测与真实曲线贴合最好。

附录还给出了Weather、Solar、Traffic、PeMS03等数据集上的同类预测可视化（Figure 10--14），以及标准差与统计显著性检验（Table 16--18，TimeBridge相对次优方法的改进在95%--99%置信区间上显著），完整结果见附录Table 9--13。

Q5：有哪些可以继续探索的点？

1. **非平稳模式的更细分类：**可针对趋势型、周期型、突变型等不同非平稳形态，分别设计Integrated/Cointegrated Attention的去平稳强度与门控策略；

2. **协整关系的显式建模与理论保证：**目前Cointegrated Attention由数据驱动隐式学习协整，可结合计量经济学中的协整检验、误差修正模型（ECM）做显式约束，并为"短期去平稳、长期保协整"提供理论证明；

3. **自适应下采样率M：**M目前按数据集人工设定，可研究让模型依据通道数与协整强度自适应选择M，在保留长期特征与控制计算成本间自动权衡；

4. **扩展到更多非平稳场景：**可把框架推广到概念漂移、事件冲击、多模态时序等更强非平稳场景，并探索频域协整等新的长期关系刻画。

Q6：总结

TimeBridge聚焦非平稳性在多变量时序预测中的双重作用：短期波动的高随机性会诱发伪回归、必须消除，而变量间的长期协整又依赖保留非平稳才能揭示。为此它把序列patch化，用Integrated Attention（归一化patch作Q/K、原始patch作V）在变量内捕捉不受短期非平稳影响的时间依赖，用Patch Downsampling聚合长期信息，再用Cointegrated Attention在保留非平稳的前提下建模跨变量协整并自适应评估其强度。

在长期、短期与金融三类任务、十余个真实数据集上，TimeBridge一致取得最先进性能，在CSI 500与S&P 500上风险调整后收益突出；多组消融、注意力可视化、损失对比与统计显著性检验共同验证了"短期消除非平稳、长期保留非平稳"这一设计的关键价值。