论文笔记:TimeGPT-1

时间序列的第一个基础大模型

1 方法

  • 最basic的Transformer架构
  • 采用了公开可用的最大时间序列数据集进行训练,包含超过1000亿个数据点。
    • 训练集涵盖了来自金融、经济、人口统计、医疗保健、天气、物联网传感器数据、能源、网络流量、销售、交通和银行业等广泛领域的时间序列
    • 具有多种季节性、不同长度的周期和各种趋势类型的序列
    • 还在噪声和异常值方面有所不同

2 结果

3 一点私货时间

  • 论文并没有怎么说明不同时间序列在不同的数据维度、采样频率、周期性下,如何train TimeGPT,我个人其实是对时间序列大模型不太乐观的(可能没过多久就被打脸了。。。)

    • 在NLP中,无论使用哪种语言,它们背后都遵循着一些普遍的、共通的语言规律(由同一个dynamics生成的各国语言)。这些规律反映了人类表达思想和交流信息的共性。因此,NLP中的大模型能够通过学习这些普遍规律来理解和生成不同语言。=

    • 相比之下,时间序列数据可以来自多种不同的领域,如交通、气象、金融等,每个领域的数据都遵循着其特有的规律。这些规律可能相互之间没有太多的共性,使得模型很难通过学习一种类型的时间序列数据来理解或预测另一种类型的数据。此外,时间序列数据往往仅仅是一系列的数字,缺乏NLP中的丰富语义和上下文信息,这使得从时间序列数据中学习和提取规律更加困难。

  • 论文比较的baseline emm,有点老。。。

相关推荐
LuH11242 小时前
【论文阅读笔记】Scalable, Detailed and Mask-Free Universal Photometric Stereo
论文阅读·笔记
小嗷犬2 小时前
【论文笔记】Cross-lingual few-shot sign language recognition
论文阅读·人工智能·多模态·少样本·手语翻译
实验室里哈啤酒14 小时前
ResEmoteNet论文阅读与推理
论文阅读
LuH112416 小时前
【论文阅读笔记】Learning to sample
论文阅读·笔记·图形渲染·点云
开心星人20 小时前
【论文阅读】Unlearning Backdoor Attacks in Federated Learning
论文阅读
七夜星七夜月3 天前
时间序列预测论文阅读和相关代码库
论文阅读·python·深度学习
WenBoo-3 天前
HIPT论文阅读
论文阅读
chnyi6_ya3 天前
论文笔记:Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
论文阅读·人工智能·语言模型
Jude_lennon4 天前
【论文笔记】结合:“integrate“ 和 “combine“等
论文阅读
LuH11244 天前
【论文阅读笔记】HunyuanVideo: A Systematic Framework For Large Video Generative Models
论文阅读·笔记