论文笔记:Large Language Models are Zero-Shot Next LocationPredictors

1 intro

  • 下一个地点预测(NL)包括基于个体历史访问位置来预测其未来的位置。
    • NL对于应对各种社会挑战至关重要,包括交通管理和优化、疾病传播控制以及灾害响应管理
  • NL 问题已经通过使用马尔可夫模型、基于模式的方法以及最近的深度学习(DL)技术(进行了处理。
    • 然而,这些方法并不具备地理转移能力
    • 因此,一旦这些模型在某个地理区域训练完毕,如果部署到不同的地理区域,它们将面临严重的性能下降
    • 尽管已经做出努力改善地理转移性,但主要的进展还是与集体移动模式相关,而零样本的地理独立性仍未得到解决
  • 此外,已经显示出大型语言模型(LLMs)嵌入了空间和地理知识,并且这些知识可以被有效提取
  • ------>探索将 LLMs 作为零样本下一个地点预测器的使用
    • 评估了四个 LLMs 的性能:Llama2、Llama2 Chat、GPT-3.5和 Mistral
    • 同时讨论了其他一些 LLMs、Phi-2、Phi-3、Gemma、GPT-J、Dolly的一些限制

2 preliminary

2.1 任务定义

  • 下一个地点预测通常定义为根据个体的历史移动轨迹预测其下一个将访问的地点的问题,这些轨迹通常表示为时空轨迹
    • (轨迹)时空点 p = (t, l) 是一个元组,其中 t 表示时间戳,l 表示地理位置。轨迹 P = p1, p2, ..., pn 是个体访问的 n 个时空点的时间有序序列
      • 根据 DeepMove的方法筛选轨迹
        • 筛选出记录少于 10 条的用户
        • 选择了 72 小时的间隔作为区分不同轨迹的阈值
        • 任何拥有少于五条轨迹的用户都被排除在分析之外
    • 用户的每条轨迹 P 都由历史访问H(history)和情境C(context)访问组成

2.2 数据集

  • 利用了在 Foursquare 上收集的两个数据集,纽约和东京
    • 每个条目包括用户标识符、位置标识符、地理坐标、时间戳和场所类别
    • 还使用了一个私人数据集来缓解潜在的数据污染问题。它由意大利费拉拉的自行车手产生的 GPS 轨迹组成
      • 将城市划分为 200 x 200 平方米,并最终得到 2,488 个独特的位置

2.3 衡量标准

3 模型

4 实验

4.1 传统模型不具备迁移性

4.2 大模型的zero-shot和few-shot 能力不错

4.3 H和C的影响

增加 C 或 H 的访问次数无论是哪种模型,都会在 ACC@5 方面带来改进

完全去除情境或历史信息的极端情况导致性能严重下降

相关推荐
猫先生Mr.Mao几秒前
2025年3月AGI技术月评|技术突破重构数字世界底层逻辑
人工智能·aigc·大语言模型·agi·多模态·行业洞察
睿创咨询18 分钟前
科技与商业动态简报
人工智能·科技·ipd·商业
科技在线18 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
HED29 分钟前
用扣子快速手撸人生中第一个AI智能应用!
前端·人工智能
极小狐31 分钟前
极狐GitLab 如何 cherry-pick 变更?
人工智能·git·机器学习·gitlab
沛沛老爹35 分钟前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
0x21144 分钟前
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
人工智能·语言模型·自然语言处理
何大春1 小时前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
mucheni1 小时前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence1 小时前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理