论文阅读【时空+大模型】ST-LLM(MDM2024)

论文阅读【时空+大模型】ST-LLM(MDM2024)

论文链接:Spatial-Temporal Large Language Model for Traffic Prediction

代码仓库:https://github.com/ChenxiLiu-HNU/ST-LLM

发表于MDM2024(Mobile Data Management)

本文主要面向交通流量 数据。

符号定义

符号 含义
N 交通站点数
C 特征数量
P 历史序列长度
S 预测序列长度

Spatial-Temporal Embedding and Fusion

注: X P ∈ R P ∗ N ∗ C X_P \isin R^{P*N*C} XP∈RP∗N∗C,但在本文实验中C=1(原文"C = 1 represents the traffic pick-up or drop-off flow"),因而有 X P ∈ R P ∗ N X_P \isin R^{P*N} XP∈RP∗N

一般而言,spatial-temporal embedding分为:

  • Token Embedding: E P = P o i n t w i s e C o n v ( X P ) ∈ R N ∗ D E_P = PointwiseConv(X_P) \isin R^{N * D} EP=PointwiseConv(XP)∈RN∗D
  • Temporal Embedding: E T = E T d + E T w = W d a y ( X d a y ) + W w e e k ( X w e e k ) ∈ R N ∗ D E_T = E_T^d+E_T^w = W_{day}(X_{day}) + W_{week}(X_{week})\isin R^{N *D} ET=ETd+ETw=Wday(Xday)+Wweek(Xweek)∈RN∗D
  • Spatial Embedding: E S = σ ( W S ∗ X P + b S ) ∈ R N ∗ D E_S = \sigma (W_S * X_P + b_S) \isin R^{N * D} ES=σ(WS∗XP+bS)∈RN∗D

然后将三种embedding合并:

H F = F u s i o n C o n v ( E P ∣ ∣ E S ∣ ∣ E T ) ∈ R N ∗ 3 D H_F = FusionConv(E_P||E_S||E_T) \isin R^{N*3D} HF=FusionConv(EP∣∣ES∣∣ET)∈RN∗3D

其中'||'是拼接符号。

Partially Frozen Attention (PFA) LLM

这部分使用GPT2捕获时空依赖。Transformer Block中训练时空开销最大的是注意力(Attention)模块。本文使用了F+U个Transformer层:

  • 在前F层中,Attention参数冷冻,只训练Layer Norm
  • 在后U层中,Attention参数也用于训练
    经过F+U个Transformer层后,得到的 H F + U H^{F+U} HF+U后,使用一个Regression Conv获得最终结果:
    Y S = R e g r e s s i o n C o n v ( H F + U ) ∈ R S ∗ N . Y_S = RegressionConv(H^{F+U}) \isin R^{S*N}. YS=RegressionConv(HF+U)∈RS∗N.

实验

交通预测

从这个实验结果来看,看起来很多后来的方法都比不上DCRNN???

效率

小样本/零样本(大模型必备)

相关推荐
kooboo china.21 分钟前
Tailwind CSS 实战:基于 Kooboo 构建 AI 对话框页面(八):异步处理逻辑详解
前端·css·人工智能·编辑器·html·交互
newxtc34 分钟前
【JJ斗地主-注册安全分析报告】
开发语言·javascript·人工智能·安全
黑码哥41 分钟前
Copilot for Xcode (iOS的 AI辅助编程)
人工智能·copilot·ai编程·xcode·ai辅助编程
深科文库41 分钟前
构建 MCP 服务器:第 2 部分 — 使用资源模板扩展资源
人工智能·chatgpt·llama
程序猿小D44 分钟前
第22节 Node.js JXcore 打包
开发语言·人工智能·vscode·node.js·c#
ykjhr_3d1 小时前
AI 导游:开启智能旅游新时代
人工智能·旅游
jndingxin1 小时前
OpenCV CUDA模块光流计算-----实现Farneback光流算法的类cv::cuda::FarnebackOpticalFlow
人工智能·opencv·算法
marteker2 小时前
HubSpot推出与ChatGPT的深度集成引发兴奋与担忧
人工智能
码上地球2 小时前
卷积神经网络设计指南:从理论到实践的经验总结
人工智能·深度学习·cnn
余+185381628002 小时前
短视频矩阵系统文案创作功能开发实践,定制化开发
大数据·人工智能