Mamba与两阶段XGBoost的融合架构:面向间歇性需求的双路径预测框架

复制代码
间歇性需求预测是零售销量预测中最具挑战性的问题之一,其核心困难在于数据的高度稀疏性与零膨胀特性。Mamba架构以线性复杂度实现了高效的长程依赖建模,但在处理零膨胀数据时缺乏专门的机制;两阶段XGBoost框架通过"分类-回归"的解耦设计,在间歇性场景中已被验证为最优方案,却难以捕捉长期时序依赖。本文提出"双路径融合架构"(Dual-Path Fusion Architecture, DPFA),将Mamba路径与两阶段XGBoost路径并行集成,通过动态路由机制根据SKU的数据特征自适应选择最优预测路径。该框架旨在同时发挥Mamba在长序列建模上的效率优势与两阶段XGBoost在零膨胀处理上的精度优势,为间歇性需求预测提供一种"效率-精度兼顾"的系统性解决方案。本文详细阐述了架构设计、动态路由机制、实验方案与预期贡献,为后续实证研究奠定理论基础。

关键词:Mamba架构、两阶段XGBoost、间歇性需求、动态路由、零售销量预测

1 引言

间歇性销售模式------由大量零值和偶发正值组成------在快时尚零售、长尾商品和跨境电商等场景中普遍存在,对传统预测方法构成严峻挑战。经典的Croston方法和SBA方法仅提供基于启发式规则的解决方案,在面对复杂的外部因素(促销、天气、节假日)时力不从心。2026年发表的一项系统研究在快时尚零售间歇性销售数据上证明,两阶段XGBoost------将预测任务分解为"需求是否发生"的分类子任务和"需求量为多少"的回归子任务------取得了最低的WRMSSE,确立了特征工程化的两阶段框架作为间歇性零售场景中最强整体方案。

与此同时,Mamba架构通过选择性状态空间模型(Selective State Space Model)实现了线性时间复杂度下的长程依赖建模,在时间序列预测领域展现出巨大潜力。2026年的一项系统性综述指出,线性时间选择性的循环模型已成为Transformer基线在长上下文时间序列上的可信替代方案。然而,现有Mamba-based架构在处理非平稳模式和零膨胀数据时仍面临挑战。一项研究明确指出,直接应用Mamba到多变量时间序列面临三个关键局限:(i)缺乏显式的跨变量建模,(ii)难以解缠序列内时间动态与序列间交互,(iii)潜在时滞交互效应建模不足。

上述两种方法各有优势,但各自存在明显的适用边界:Mamba擅长捕捉长程时序依赖,却在零膨胀数据上缺乏针对性设计;两阶段XGBoost在间歇性场景中已被充分验证,却难以有效利用长期时序信息。本文提出"双路径融合架构"(DPFA),将Mamba路径与两阶段XGBoost路径并行集成,通过动态路由机制根据SKU数据特征自适应选择最优路径,旨在实现"效率-精度兼顾"的系统性突破。

2 相关研究

2.1 Mamba架构在时间序列预测中的演进

Mamba及其变体在2025---2026年间经历了快速演进。一项系统性综述从模型架构、任务类型、数据形态和应用领域四个互补视角,对Mamba在时间序列分析中的应用进行了全面梳理。该综述提炼了五轴设计空间------Tokenization、通道策略、方向扫描、混合化和分解------为理解Mamba架构的多样性提供了统一框架。

在架构创新方面,多项工作从不同维度深化了Mamba的能力边界:

· DMamba提出了分解增强的策略,将趋势分量和季节性分量分离后分别用不同复杂度的模块处理------变量方向Mamba编码器捕获季节性分量中丰富的跨变量动态,简单MLP足以学习趋势分量中的低维关系。这一设计基于时序理论的深刻观察:趋势关系由少数共同随机因子驱动,位于低维流形;而季节性关系涉及动态、高维的交互。

· DeMa提出了双路径延迟感知架构,通过时间路径(Mamba-SSD模块)捕获每个独立序列内的长程动态,变量路径(Mamba-DALA模块)集成延迟感知线性注意力以建模跨变量依赖。

· WaveletMamba提出了多尺度Haar模块(MSHM),通过可学习的Haar-like滤波器提取时间序列的低频和高频分量,再通过双向扫描Mamba块(TMR)捕获跨变量相关性和长程时序依赖。在13个基准数据集上,WaveletMamba取得了优于或可比于现有Mamba和Transformer方法的预测性能。

· Dual-Path Mamba集成了固定大小patch和自适应可变大小patch的双路径,分别稳定捕获全局趋势与周期性和聚焦局部变化与异常。

2.2 间歇性需求预测的两阶段框架

间歇性需求预测在2026年取得了关键突破。Yılmaz Sucuoğlu等人在快时尚零售数据上系统对比了一阶段与两阶段机器学习框架及经典基准(Croston、SBA)。两阶段方法的核心是将预测任务分解为两个独立的子任务:第一阶段使用随机森林分类器预测"需求是否发生",第二阶段使用回归模型(RF、GBM、XGBoost、LightGBM)估计"需求大小"。

核心发现:两阶段XGBoost取得了最低的WRMSSE,确立了特征工程化的两阶段框架作为间歇性零售场景中最强整体方案。该研究还通过SHAP分析揭示了特征对"需求发生"与"需求大小"的不同贡献,为库存管理提供了可操作的洞察。

2.3 Mamba与XGBoost融合的初步探索

现有文献中Mamba与XGBoost的直接融合十分有限。少量研究探索了XGBoost作为误差修正模块与Mamba结合的可能性,或使用XGBoost进行关键特征筛选后输入Mamba模型。然而,这些工作尚未将两阶段框架的系统性优势与Mamba的长程建模能力有机整合,这正是本文的核心创新所在。

3 双路径融合架构(DPFA)

3.1 架构总览

双路径融合架构(Dual-Path Fusion Architecture, DPFA)包含三条核心路径和一个动态路由模块:

复制代码
┌─────────────────────────────────────────────────────────────────────┐
│                        输入层:时序数据                              │
│              (历史销量 + 协变量 + 静态特征)                        │
└─────────────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    特征提取与SBC分类层                              │
│       计算ADI、CV² → 划分Smooth/Erratic/Intermittent/Lumpy          │
└─────────────────────────────────────────────────────────────────────┘
                              │
        ┌─────────────────────┼─────────────────────┐
        ▼                     ▼                     ▼
┌───────────────┐    ┌───────────────┐    ┌───────────────┐
│  Mamba路径     │    │ 两阶段XGBoost  │    │  融合路径      │
│  (长程依赖)  │    │  (零膨胀处理) │    │  (集成输出)  │
└───────────────┘    └───────────────┘    └───────────────┘
        │                     │                     │
        └─────────────────────┼─────────────────────┘
                              ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    动态路由机制(MoE架构)                          │
│       根据SKU特征(零值率、变异系数、序列长度)动态选择路径           │
└─────────────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────────────┐
│                        最终预测输出                                  │
└─────────────────────────────────────────────────────────────────────┘

3.2 Mamba路径:长程时序依赖建模

Mamba路径负责捕获销量序列中的长期依赖和跨变量交互。具体设计如下:

输入处理:将原始时序序列通过patch化策略转换为token序列,采用多尺度tokenization------借鉴Dual-Path Mamba的设计,同时使用固定大小patch(捕获全局趋势)和自适应可变大小patch(捕获局部变化)。

核心编码器:采用双向Mamba扫描机制。与WaveletMamba类似,通过双向扫描Mamba模块捕获跨变量相关性和长程时序依赖。单向Mamba存在信息流向限制,双向扫描可以同时从前向和后向捕获时序依赖,提升对长程模式的建模能力。

分解增强:借鉴DMamba的设计思想,在Mamba路径中引入趋势-季节分解。趋势分量通过轻量级MLP处理,季节性分量通过变量方向Mamba编码器处理------这种"复杂度对齐"策略确保Mamba的计算资源集中在最需要表达力的分量上。

输出:Mamba路径输出点预测值 \hat{y}{mamba} 和预测区间 \hat{\sigma}{mamba}。

3.3 两阶段XGBoost路径:零膨胀与长尾处理

两阶段XGBoost路径专门处理间歇性需求的零膨胀特性,沿用已被充分验证的两阶段框架:

第一阶段(分类器) :

\hat{p}_t = P(y_t > 0 \mid \mathbf{X}t) = \sigma(f{cls}(\mathbf{X}_t))

使用XGBoost分类器,以历史销量、时间特征、促销信息等为输入,预测"需求是否发生"的概率。针对类别不平衡问题,采用 scale_pos_weight 参数进行校准。

第二阶段(回归器) :

\hat{y}t^{pos} = f{reg}(\mathbf{X}_t^{pos})

仅在 y_t > 0 的样本上训练XGBoost回归器,预测"在有需求的情况下,具体销量是多少"。

最终预测:\hat{y}_{xgb} = \hat{p}_t \times \hat{y}_t^{pos}

两阶段路径的优势在于:(1)梯度不被零值淹没------回归器只在正样本上训练;(2)可针对不同目标优化不同特征------分类器侧重"需求是否发生的判别信号",回归器侧重"需求大小的量化信号";(3)SHAP分析可分别解释两个阶段的决策逻辑。

3.4 动态路由机制

动态路由机制基于混合专家(Mixture of Experts, MoE) 架构,根据SKU的数据特征自适应选择最优预测路径。2026年已有研究探索了Mamba与MoE的结合。

路由特征:对每个SKU提取以下特征向量:

· z:零值率(零值天数 / 总天数)

· cv:变异系数(标准差 / 均值)

· n:可用历史序列长度

· ADI:平均需求间隔(SBC分类指标)

· CV^2:需求量的平方变异系数(SBC分类指标)

路由策略:

\text{Path} = \arg\max_{k \in {mamba, xgb, ensemble}} \text{Softmax}(\mathbf{W} \cdot \mathbf{r})_k

其中 \mathbf{r} = z, cv, n, ADI, CV\^2, S 为路由特征向量,S 为季节性强度指标。路由策略的设计原则如下:

数据特征 推荐路径 理由

z < 0.3(高频需求) Mamba路径 数据充足,Mamba的长程建模能力可充分发挥

z > 0.6(高度稀疏) 两阶段XGBoost路径 零膨胀处理是核心需求,两阶段框架已被充分验证

0.3 \leq z \leq 0.6(中等稀疏) 融合路径(集成) 两种方法互补,集成可提升鲁棒性

n < 90(短序列) 两阶段XGBoost路径 Mamba需要足够数据才能发挥优势

融合路径:当路由选择融合模式时,采用加权集成:

\hat{y}{final} = \alpha \cdot \hat{y}{mamba} + (1-\alpha) \cdot \hat{y}_{xgb}

其中 \alpha 根据路由特征的置信度动态调整,借鉴Dual-Path Mamba的自适应门控融合机制。

4 实验设计

4.1 数据集

实验应采用多个零售数据集以覆盖不同的SBC需求类别:

数据集 特征 适用SBC类别

M5(Walmart) 大规模、多层级、含促销信息 全覆盖

Favorita(厄瓜多尔) 多门店、外部变量丰富 全覆盖

快时尚间歇性数据集 64个产品组、周度数据、丰富外生特征 以Intermittent/Lumpy为主

UCI Online Retail II 电子商务、间歇性典型 以Erratic/Intermittent为主

快速商业MFC数据 25,000+ SKU、三年日度数据 以Intermittent/Lumpy为主

4.2 基线模型

为全面评估DPFA的性能,需与以下基线对比:

Mamba基线:

· 标准Mamba(Gu & Dao, 2024)

· S-Mamba

· MambaTS

· DMamba

· WaveletMamba

两阶段基线:

· 两阶段XGBoost

· 两阶段LightGBM

· 一阶段XGBoost

经典基线:

· Croston方法

· SBA方法

· ETS、SARIMA

深度学习基线:

· LSTM

· Temporal Fusion Transformer(TFT)

4.3 评估协议

评估指标:

· WRMSSE(加权均方根缩放误差)------间歇性需求预测的标准指标

· WMAPE(加权平均绝对百分比误差)

· CRPS(连续排名概率分数)------评估概率预测质量

· 推理时间与FLOPs------评估计算效率

验证策略:

· 采用固定留出集(如13周)和滚动起点交叉验证

· 按SBC四类需求分别报告性能,揭示DPFA在不同需求模式下的适用边界

· Diebold-Mariano检验验证性能差异的统计显著性

5 预期贡献

5.1 理论贡献

第一,首次将Mamba架构系统性地应用于间歇性需求预测。 现有Mamba研究主要聚焦于平稳、高频的时间序列(如电力负荷、天气数据),对零售场景中间歇性需求的关注极为有限。DPFA填补了这一空白。

第二,提出"双路径融合"的架构范式。 与现有"单一模型优化"的思路不同,DPFA通过并行集成Mamba路径与两阶段XGBoost路径,实现了"长程依赖建模"与"零膨胀处理"的能力互补。这一范式可推广到其他存在类似"效率-精度"权衡的预测场景。

第三,引入基于数据特征的动态路由机制。 通过MoE架构根据SKU的零值率、变异系数等特征自适应选择预测路径,DPFA实现了"为不同商品匹配最优模型"的智能化路由。这为大规模零售预测系统的自动化建模提供了新思路。

5.2 实践意义

· 精度提升:通过Mamba路径捕获长期依赖、两阶段XGBoost路径处理零膨胀,DPFA有望在间歇性需求预测中实现超越单一方案的精度

· 效率保障:Mamba的线性复杂度确保了长序列处理的计算效率

· 可解释性:两阶段XGBoost路径的SHAP分析可分别解释"需求发生"与"需求大小"的决策逻辑

· 自动化:动态路由机制使得模型选择自动化,降低了人工调优成本

5.3 局限性

本框架存在若干局限性。首先,双路径架构增加了模型的整体复杂度,训练和推理的资源开销高于单一模型。其次,动态路由机制的性能依赖于路由特征的质量和阈值的设定,需要在大规模数据上进行系统调优。最后,DPFA主要针对点预测任务,对概率预测和预测区间校准的适用性有待进一步研究。

6 结论

Mamba架构为长序列时序预测提供了线性复杂度的效率优势,两阶段XGBoost框架在间歇性需求预测中已被充分验证为最强方案。本文提出的双路径融合架构(DPFA)将两者的优势有机整合,通过动态路由机制实现"为不同商品匹配最优预测路径"的智能化建模。这一框架旨在回答一个核心问题:Mamba的长程依赖建模能力与两阶段XGBoost的零膨胀处理能力能否在统一架构中实现互补与协同? 未来的工作将在大规模零售数据集上验证DPFA的有效性,并探索将动态路由扩展到概率预测和多步预测场景。

参考文献

1 Nguyen, T. T., Jin, M., Pham, T., Pan, S., & Nguyen, Q. V. H. Mamba for Time Series Analysis: A Contemporary Survey. Preprints, 2026.

2 Chen, R., & Sun, F. DMamba: Decomposition-enhanced Mamba for Time Series Forecasting. arXiv:2602.09081, 2026.

3 DeMa: Dual-Path Delay-Aware Mamba for Efficient Multivariate Time Series Analysis. arXiv:2601.05527, 2026.

4 WaveletMamba: Harnessing learnable multi-scale state space dynamics for time series forecasting. Neurocomputing, 2026.

5 A Dual-Path Mamba with Fixed and Variable Patches for Time Series Forecasting. IEEE Xplore, 2026.

6 Yılmaz Sucuoğlu, B., Beyca, Ö. F., & Kosanoğlu, F. Forecasting Intermittent Sales in Fashion Retail: A Two-Stage Machine Learning Approach. Forecasting, 8(4), 2026.

7 STM3: Mixture of Multiscale Mamba for Long-Term Spatio-Temporal Time-Series Prediction. KDD 2026.

8 Decomposition-driven Mamba state space models with expert routing for wind curtailment forecasting. 2026.

相关推荐
海盗123417 分钟前
AI新闻日报_2026-08-27—— Qwen4/GLM-5.3-Flash 开源、OpenAI Agent 越狱事件、世界人形机器人运动会
人工智能·机器人·开源
zzzll111121 分钟前
Hermes Agent:轻量级 AI 智能体框架实战指南
人工智能
水上冰石21 分钟前
【MuJoCo从入门到精通】第2章 第一个 MuJoCo 仿真
前端·人工智能·算法
wenyq723 分钟前
LeetCode 2904. Shortest and Lexicographically Smallest Beautiful String
算法·leetcode
AI浩25 分钟前
关于 Qwen3.8-Next 架构的设计:评估、效率与训练稳定性
人工智能·计算机视觉·自然语言处理
裕晟资质规划26 分钟前
西安档案数字化企业申报涉密档案数字化加工资质:业务准入、数据链路管控与审查要点
大数据·人工智能
DO_Community29 分钟前
面向 AI 工作负载,单核性能提升 30%:DigitalOcean v5 Droplets 云服务器正式上线
运维·服务器·人工智能
CRMEB29 分钟前
不懂设计也能有精美商城?CRMEB 主题广场与可视化装修的“千店千面“实操
人工智能·ai·小程序·开源·php
维克兜率天35 分钟前
【维克】技术指标是什么:从均线到MACD的数学原理
人工智能·笔记·python·算法·量化