时序预测主流模型综述(自用)
目录
-
研究概述
-
时序模型整体发展脉络
-
传统统计时序模型
-
机器学习时序模型
-
经典深度学习时序模型
-
通用时序Transformer模型
-
工业专用时序Transformer模型
-
时序预训练大模型
-
主流模型横向对比
-
通用及工业场景选型策略
-
模型演进总结
-
时序预测真实落地任务范式
1. 研究概述
本文覆盖学术界与工业界全品类主流时序预测模型,完整梳理六大技术体系,既包含通用传统模型,也聚焦工业落地最优方案。重点区分各类模型的适用边界,核心对比TimesNet与PatchTST的工业适配差异,同时结合工业真实落地的预测任务范式、输入输出约束规则,形成一套完整、无认知局限、可直接落地的时序模型选型体系。
2. 时序模型整体发展脉络
行业时序预测模型迭代分为六大体系,覆盖市面上绝大多数研究与落地方案:
-
统计时序模型:ARIMA、SARIMA、Prophet,为传统经典基线;
-
机器学习时序模型:XGBoost、CatBoost、LightGBM,轻量化落地主流;
-
经典深度学习模型:LSTM、GRU、TCN,深度学习时序基础模型;
-
通用Transformer模型:原生Transformer、Informer,早期长时序优化方案;
-
工业专用Transformer模型:TimesNet、PatchTST,当前工业落地SOTA模型;
-
时序预训练大模型:Chronos、TimesFM、Time-LLM,少样本跨场景前沿方案。
3. 传统统计时序模型
代表模型:ARIMA、SARIMA、Prophet
该类模型基于线性统计假设,结构简单、可解释性强、无需大量训练算力,部署门槛极低。
核心短板明显,仅适配平稳线性时序,无法处理多变量耦合、非线性波动、多周期叠加、带噪声突变的复杂数据,抗干扰能力弱。
仅适用于销量、客流、物价等简单单变量、趋势平稳的短期预测场景,不适用工业复杂工况。
4. 机器学习时序模型
4.1 XGBoost / CatBoost
通用数据分析与轻量工业场景主流模型,依靠滑动窗口人工构造时序特征,精度优于传统统计模型。原生支持类别特征,鲁棒性强,是常规时序任务通用基线。缺陷为无原生时序建模能力,无法自主学习周期与长距离依赖,效果完全依赖人工特征工程,复杂场景精度上限低。
4.2 LightGBM
轻量化梯度提升树模型,速度、内存占用优于XGBoost,适配边缘部署、低延迟实时推理、小样本场景。无需数据归一化,兼容缺失值与异常工况参数,是工业轻量化时序预测首选。缺点为无法自动捕捉时序周期与长距离依赖,仅适合简单短时序场景。
5. 经典深度学习时序模型
5.1 LSTM / GRU
经典循环时序网络,依靠隐状态传递时序记忆,可拟合非线性时序规律,部署成熟、通用性强,是深度学习时序任务基础基线。
短板为串行计算、训练速度慢、长序列易梯度衰减,无专属周期提取能力,无法适配多周期叠加、带突变的工业复杂工况。GRU为简化版本,速度更快、精度略低。
5.2 TCN 时序卷积网络
基于空洞卷积并行建模,训练速度优于LSTM,擅长捕捉局部时序波动,是轻量化通用深度学习模型。短板为长距离依赖建模能力弱,无法精准捕捉多层周期规律,复杂工业场景适配性有限。
6. 通用时序Transformer模型
6.1 原生 Vanilla Transformer
依托全局自注意力并行建模时序依赖,多变量交互能力强。核心问题是计算量随序列长度平方级增长,无法适配长时序,且无周期建模能力,对周期性时序拟合效果差。
6.2 Informer
采用稀疏注意力降低Transformer算力开销,曾是主流长时序基线模型。缺陷为稀疏采样会丢失细微周期与突变细节,无频域建模能力,工业复杂工况精度不足,现已逐步被专用时序模型替代。
7. 工业专用时序Transformer模型
7.1 TimesNet
工业多周期工况最优模型,核心通过FFT频域解析多层周期,结合卷积提取瞬时突变与局部波动,完美适配工业常见的多周期叠加、传感器噪声、工况跳变场景,适配30-300步中等序列,广泛用于设备能耗、窑炉工况、生产时序预测。
缺点:500步以上超长序列算力开销大,超参数较多,调参成本偏高。
7.2 PatchTST
超长时序专用轻量化模型,通过时序分块将大量时间步压缩为Patch块,大幅降低算力与显存占用,对上千步超长序列适配性极强,泛化稳定、调参简单。
缺点:无主动频域周期解析能力,仅隐式学习时序规律,多层周期叠加工况拟合不足;分块平滑会丢失设备短时突变细节,中短周期复杂工业场景精度弱于TimesNet。
7.3 两款工业模型选型边界
-
30-500步中短序列、多周期叠加、含工况突变:优先 TimesNet;
-
500步以上超长序列、平稳长趋势预测:优先 PatchTST。
8. 时序预训练大模型
8.1 Chronos
通用时序预训练模型,跨行业泛化能力强,零样本、少样本效果突出,适合新产线、新设备等标注数据不足的场景。固定场景足量数据下,专项精度低于TimesNet、PatchTST等专用小模型。
8.2 TimesFM
超长时序预训练模型,支持上万步预测,兼容多变量与协变量,工业微调友好,擅长超长周期趋势预判。缺点是参数量大、推理显存占用高,不适合实时低延迟部署。
8.3 Time-LLM
时序+文本多模态大模型,可结合业务文本信息辅助预测,极少量数据场景泛化能力强。但显存开销极大,纯时序预测的精度与速度弱于原生时序大模型与工业专用小模型。
9. 主流模型横向对比
| 模型 | 定位 | 周期捕捉 | 长序列能力 | 突变捕捉 | 算力 | 适用场景 |
|---|---|---|---|---|---|---|
| ARIMA/Prophet | 传统统计模型 | 弱 | 极差 | 弱 | 极低 | 简单平稳单变量时序 |
| XGBoost/LightGBM | 机器学习通用模型 | 弱(人工构造) | 差 | 中 | 极低 | 轻量、实时、小样本场景 |
| LSTM/TCN | 经典深度学习基线 | 一般 | 中等 | 中 | 低 | 常规平稳时序任务 |
| Informer | 早期长时序Transformer | 一般 | 较好 | 一般 | 中 | 通用中等长时序基线 |
| TimesNet | 工业周期SOTA | 极强 | 中等 | 极强 | 中 | 多周期、带突变工业时序 |
| PatchTST | 超长时序SOTA | 中等 | 极强 | 一般 | 中 | 上千步超长时序预测 |
| 时序大模型 | 前沿预训练模型 | 中 | 顶尖 | 中 | 极高 | 少样本、跨场景、新产线 |
10. 通用及工业场景选型策略
通用普通场景
-
简单平稳短期预测:Prophet、ARIMA;
-
低算力、小样本结构化时序:XGBoost、LightGBM;
-
常规平稳时序深度学习基线:LSTM、TCN;
-
中等长度通用长时序预测:Informer、PatchTST。
工业复杂场景
-
多周期叠加、带工况突变、中短序列:TimesNet(最优);
-
超长连续时序、长期趋势预判:PatchTST;
-
新设备、新产线、标注数据稀缺:Chronos、TimesFM;
-
边缘部署、低延迟实时推理:LightGBM。
11. 模型演进总结
时序模型整体迭代链路清晰:统计模型→机器学习树模型→经典深度学习模型→通用Transformer→工业专用Transformer→时序预训练大模型。
通用场景下传统模型仍是稳妥基线,但无法适配工业复杂多周期、强波动、带突变的时序数据。当前工业落地形成互补格局:TimesNet专攻中短周期复杂工况,PatchTST专攻超长时序场景。时序大模型擅长跨场景、少样本泛化,但固定足量数据的工业场景中,专项精度与推理效率不如工业专用小模型。
12. 时序预测真实落地任务范式
所有时序模型的落地效果,严格取决于预测输出范式 与输入窗口约束,工业与工程场景主要分为两大类任务,完全贴合实际业务(如3分钟历史数据预测未来5分钟工况)。
12.1 按预测输出方式分类
(1)单步预测(预测下一刻)
仅根据历史时序,预测未来单个时间步数值。例如输入3分钟历史数据,仅预测下1分钟/下1秒的设备状态。
特点:推理速度快,适合实时监控、瞬时异常预警、单点数值跟踪;缺点是如需长时预测,必须滚动迭代,会持续累积误差。
适配模型:LightGBM、LSTM、TCN等轻量模型,Transformer与大模型无明显优势。
(2)多步长序列预测(预测整段未来时序)
一次性直接输出未来一整段连续时序曲线,是工业生产核心落地范式。例如输入3分钟历史工况,直接输出未来5分钟完整时序变化。
特点:无需滚动迭代、无误差累积,可完整预判未来趋势、周期波动、工况拐点,适配生产调控、趋势分析、提前预判场景。
适配模型:TimesNet、PatchTST、时序预训练大模型,Transformer架构是长序列多步预测的核心方案。
12.2 按输入窗口约束分类
(1)固定输入长度预测
工业最主流落地方式:模型固定历史输入窗口大小,维度统一、训练稳定、部署简单、容错率高。例如固定每次仅输入3分钟时序数据,所有样本维度一致。LightGBM、LSTM、TimesNet等绝大多数工业模型均采用该范式。
(2)不固定(动态)输入长度预测
输入历史时长不固定,模型自适应适配任意长度序列。该范式仅适配PatchTST、时序大模型;传统小模型无法兼容动态输入,易出现精度崩坏、推理异常。
12.3 任务范式整体选型总结
-
实时单点预判、固定短窗口场景:优先 LightGBM / LSTM;
-
工业多周期整段趋势预测、固定输入窗口:优先 TimesNet;
-
超长时序、动态输入、长段未来预测:优先 PatchTST / 时序大模型;
-
少样本跨场景、任意输入长度通用预测:优先 Chronos / TimesFM。