论文笔记：Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction

2024 Sigspatial Hummob Workshop 第2/3名

• 提出了 Llama-3-8B-Mob------一个基于 Llama-3-8B的指令微调版本，专为长期、多城市人类移动预测而设计。

1 问题定义

2 方法

• 将轨迹预测问题重构为一个带有指令的问答任务
  • 通过 GPT-3.5 和 4 进行实验，发现虽然该问答框架能在零样本情况下得到可接受结果，但仍存在准确性差、API 成本高、数据泄露风险等问题。
  • ------>使用 LoRA对 Llama-3-8B 进行了指令微调，仅微调注意力层和投影，提升效率

3 结果

尽管 Llama-3-8B-Mob 预测效果强，但其训练和推理成本也显著高于 LP-Bert