谷歌发布时序预测基础模型TimesFM,2亿参数,消费级GPU可运行,零样本时间序列预测新突破

前言

时序数据在零售、金融、制造、医疗和自然科学等各个领域无处不在,而时序预测则是这些领域中一项至关重要的任务。近年来,深度学习模型在处理丰富、多变量的时序数据方面取得了显著进展,往往优于传统的统计方法,例如 ARIMA 或 GARCH。然而,大多数深度学习模型都需要经过漫长而复杂的训练和验证过程,才能在新的时序数据上进行测试。因此,对于需要快速部署和应用的实际场景,这些模型存在局限性。

为了解决这一问题,Google Research 团队推出了全新的时间序列预测基础模型------TimesFM,它可以在无需额外训练的情况下,对未曾见过的时序数据进行预测,并且取得了令人印象深刻的性能。TimesFM 基于大型时序数据集的预训练,并采用解码器式的注意力模型架构,具有出色的泛化能力,能够在各种时间尺度和不同领域的数据集上进行有效预测。

技术特点

TimesFM 拥有以下关键技术特点,使其在时序预测领域具有显著优势:

  • 海量数据预训练,解锁强大的泛化能力

TimesFM 在一个包含 1000 亿个真实世界时间点的庞大时序数据集上进行预训练。这个数据集涵盖了各种领域、趋势和季节性模式,以及不同的时间粒度。这些丰富的数据帮助 TimesFM 学习到通用时序模式,并具备强大的泛化能力,能够对未曾见过的时序数据进行准确预测。

  • 解码器式注意力模型架构,高效处理时序数据

TimesFM 采用解码器式注意力模型架构,灵感源自自然语言处理领域的大型语言模型。在训练过程中,模型将时序数据分成多个连续的"patch",并通过堆叠的 Transformer 层对这些 patch 进行编码。每个 patch 可以看作是语言模型中的一个词元,模型能够根据之前看到的 patch 信息,预测下一个 patch 的内容。

  • 灵活的上下文和预测长度,适应多样化预测需求

TimesFM 的设计能够适应不同的上下文长度和预测长度,满足多样化的预测需求。例如,模型可以根据过去 32 个时间点的数据,预测未来 128 个时间点的趋势。

  • 轻量级模型设计,消费级 GPU 可运行

TimesFM 的模型参数规模仅为 2 亿,在消费级 GPU 上即可运行,降低了使用门槛,使其更容易被应用于各种实际场景中。

性能表现

TimesFM 在多个公共数据集上进行了零样本评估,其性能与在特定数据集上专门训练的监督学习模型相比毫不逊色。

  • 在 Monash Forecasting Archive 数据集上的表现: TimesFM 在包含数千个不同时间尺度和领域的时序数据的 Monash Forecasting Archive 数据集上,其零样本预测性能超过了大多数监督学习方法,包括 DeepAR 和 WaveNet 等深度学习模型。
  • 在 Darts 数据集上的表现: TimesFM 在 Darts 数据集上表现出色,其性能与 ARIMA 和 llmtime 等模型相当,而 llmtime 则使用了参数量远大于 TimesFM 的 GPT-3 模型。
  • 在 ETT 数据集上的表现: TimesFM 在 ETT 数据集上的表现优于 llmtime,并且与专门训练的 PatchTST 模型相比性能相当。

应用场景

TimesFM 的强大功能使其在各个领域具有广泛的应用潜力:

  • 零售预测: 预测商品销量,优化库存管理,减少成本,提升收益。
  • 金融预测: 预测股票价格,管理投资风险。
  • 能源预测: 预测电力需求,优化电力生产和分配。
  • 交通预测: 预测交通流量,优化交通路线规划。
  • 天气预测: 预测气温、降雨量等。

总结

TimesFM 的出现标志着时间序列预测领域迈入了新的阶段。它能够在无需额外训练的情况下,对未曾见过的时序数据进行预测,并且取得了令人印象深刻的性能。相信 TimesFM 将在未来推动时间序列预测技术的应用和发展,为各个领域的决策提供更准确、更可靠的参考。

模型下载

Huggingface模型下载

huggingface.co/google/time...

AI快站模型免费加速下载

aifasthub.com/models/goog...

相关推荐
阿里云大数据AI技术4 分钟前
从向量存储到 Agentic 数据基础设施:Paimon × Milvus 如何构建 AI 原生多模态数据湖
人工智能·agent
字节跳动视频云技术团队11 分钟前
一句话上线 AI Agent 应用:火山 Supabase + IGA Pages 全栈部署实践
人工智能·agent
QN1幻化引擎17 分钟前
SFA 信号场注意力:用8KB参数换248x KV Cache压缩,边缘设备也能跑长序列
人工智能·算法·gitee·gitlab
xlrqx28 分钟前
家电清洗培训课程类别、培训方式及费用情况究竟有哪些
大数据·python
神奇小汤圆33 分钟前
为什么 skills 装得越多,AI 越笨?最火的那个 skill 只有一句话
人工智能
段一凡-华北理工大学33 分钟前
向量数据库实战:选型、调优与落地~系列文章03:向量相似度算法全解:余弦、欧氏、内积,到底该用哪个?
大数据·数据库·人工智能·算法·机器学习·向量相似度·高炉炼铁
毛丫讲绘本36 分钟前
独立老师开始做绘本课,怎样做少走弯路?
人工智能·学习·微信·微信公众平台·微信开放平台
weixin_4684668537 分钟前
从Transformer到ViT与Swin详解
人工智能·深度学习·transformer·computer vision·vit·卷积·swin
新知图书38 分钟前
详细实现与核心配置(新闻早报智能体开发)
人工智能·agent·ai agent·智能体·扣子
lbb 小魔仙1 小时前
VS Code Python 高级调试技巧:从入门到精通
开发语言·python