本文是LLM系列文章,针对《TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS》的翻译。
time-llm:通过重新编程大型语言模型来预测时间序列
- 摘要
- [1 引言](#1 引言)
- [2 相关工作](#2 相关工作)
- [3 方法](#3 方法)
- [4 主要结果](#4 主要结果)
- [5 结论和未来工作](#5 结论和未来工作)
摘要
时间序列预测在许多现实世界的动态系统中具有重要意义,并得到了广泛的研究。与自然语言处理(NLP)和计算机视觉(CV)不同,单个大型模型可以处理多个任务,时间序列预测模型通常是专门的,需要针对不同的任务和应用进行不同的设计。虽然预训练的基础模型在NLP和CV领域取得了令人印象深刻的进步,但它们在时间序列领域的发展受到数据稀疏性的限制。最近的研究表明,大型语言模型(llm)对复杂的符号序列具有强大的模式识别和推理能力。然而,挑战仍然存在,如何有效地将时间序列数据和自然语言的模式结合起来,以利用这些功能。在这项工作中,我们提出了time - llm,这是一个重编程框架,可以在主干语言模型保持完整的情况下,将llm重新用于一般时间序列预测。我们首先用文本原型重新编程输入时间序列,然后将其输入到冻结的LLM中以对齐两种模式。为了增强LLM对时间序列数据进行推理的能力,我们提出了提示作为前缀(PaP),它丰富了输入上下文并指导了重编程输入补丁的转换。最后对LLM变换后的时间序列补丁进行投影,得到预测结果。我们的综合评估表明time - llm是一个强大的时间序列学习器,优于最先进的专业预测模型。此外,TIME-LLM在few-shot和zero-shot学习场景中都表现出色。
1 引言
2 相关工作
3 方法
4 主要结果
5 结论和未来工作
time - llm通过将时间序列数据重新编程为对llm来说更自然的文本原型,并通过Prompt-as-Prefix提供自然语言指导来增强推理能力,从而有望将冻结的大型语言模型用于时间序列预测。评估表明,经过调整的llm可以胜过专门的专家模型,表明它们作为有效的时间序列机器的潜力。我们的结果还提供了一种新颖的见解,即时间序列预测可以作为另一种"语言"任务,可以由现成的LLM处理,通过我们的time -LLM框架实现最先进的性能。进一步的研究应该探索最佳的重编程表示,通过持续的预训练,用明确的时间序列知识丰富llm,建立多模态模型,跨模态联合推理,并应用重编程框架为llm注入额外的新功能。