技术栈

注意力模块

audyxiao001
3 天前
人工智能·计算机·语言模型·自然语言处理·预训练·时空预测·注意力模块
AAAI 2025论文分享│STD-PLM:基于预训练语言模型的时空数据预测与补全方法本文详细介绍了一篇发表于人工智能顶级会议AAAI 2025的论文《STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM》。该论文提出了一种基于预训练语言模型(Pre-trained Language Model‌,PLM)的时空预测与补全统一框架STD-PLM。通过显式设计的时空标记器和时空嵌入,STD-PLM 能够有效理解时空数据的空间和时间特性。此外,还引入沙漏注意力模