2025-03-21，由美国中央佛罗里达大学的研究团队提出了一种名为 GAEA 的地理感知对话模型，并为此创建了 GAEA-1.6M 数据集。其意义在于填补了地理定位对话模型训练数据的空白，使得模型不仅能够预测图像的精确 GPS 坐标，还能与用户进行关于图像位置的有意义对话，为旅游、导航、城市规划等领域带来了新的可能性。
一、研究背景
图像地理定位是一项具有广泛应用前景的任务，传统的 AI 模型只能预测图像的精确 GPS 坐标，但缺乏对位置的理解和与用户的对话能力。近年来，随着大型多模态模型的发展，研究人员尝试通过这些模型进行图像地理定位，但在更专业的下游任务（如地理定位）中，大型多模态模型仍存在不足。
目前遇到困难和挑战：
1、数据集缺失：没有大规模的数据集能够支持训练具有对话能力的地理定位模型。
2、模型性能不足：现有的大型多模态模型在地理定位等专业任务上表现不佳，预测精度低。
3、缺乏对话能力：即使一些模型能够预测位置，但无法与用户进行深入的对话交流，无法满足用户对位置信息的进一步需求。
数据集地址：GAEA-1.6M|地理信息科学数据集|计算机视觉数据集
二、让我们来一起看一下GAEA-1.6M
GAEA-1.6M 是一个包含 80 万张图像和约 160 万问答对的大型对话式地理定位数据集，旨在提升模型的地理定位和对话能力。
该数据集涵盖了来自 234 个国家和地区的 41481 个城市，从多个数据源（如 MP-16、GLD-v2 和 CityGuesser68k）获取地理多样化的视觉样本，并结合 OpenStreetMap（OSM）的丰富元数据，包括周边区域的详细信息、附近地标、可访问服务以及该地区的建设历史等。数据集分为对话、推理和地理定位三个子集，包含多种问题格式，如多项选择题、是非题和开放式问题（短问答和长问答）。
数据集的构建：
-
图像采集：从 MediaEval 2016、Google Landmarks v2 和 CityGuessr 中采集了 852,000 张地理多样化的图像。
-
元数据处理：利用 OpenStreetMap（OSM）获取图像周围 1 公里范围内的详细地理信息，包括周边设施、地标等。
-
问答对生成：通过开源 LLMs 和 GPT-4o 生成了 160 万问答对，涵盖地理定位、推理和对话等多个方面。
数据集特点：
1、大规模：包含 80 万张图像和约 160 万问答对，是目前最大的地理定位对话数据集。
2、地理多样性：覆盖全球 234 个国家和地区，41481 个城市，确保模型能够处理不同地区的图像。
3、丰富的元数据：结合 OpenStreetMap 的详细地理信息，为模型提供丰富的上下文线索。
4、多样化的问答格式：包含多种问题类型，能够全面评估模型的对话和地理定位能力。
基准测试：
为了评估模型的对话能力，研究人员提出了 GAEA-Bench 基准测试，包含 4 千个图像文本对，涵盖多种问题类型，如多项选择题、是非题、短问答和长问答，用于全面评估模型的对话和地理定位能力。
GAEA 和其他 LMM 在全球尺度图像地理定位上的性能。当被问及有关总结场景、位置和地理背景的不同问题时，GAEA 会做出正确的预测。虽然 GPT-4o-mini 可以给出与该地区相关的正确建议，但 GAEA 提供了靠近图像位置的正确便利设施。
数据收集和注释管道。GAEA-1.6M 包括来自各种数据源的地理上不同的视觉样本，例如CityGuesser68k（左）。 我们还为每张图像整合了 OSM元数据和辅助上下文，范围从气候区到有关该国的地理线索 （中）。 使用开源LLMs和 GPT-4o，我们生成了四个不同的问答对，涵盖地理位置、推理和对话子集（右）
GAEA-Bench 概述。GAEA-Bench 旨在评估各种 LMM 在不同问题类型中的对话能力，包括 MCQ、T/F 以及短期和长期 VQA。我们从 MP-16 中精心挑选了 4k 样本的子集，并生成了相应的 OSM 元数据，以使用 GPT-4o 生成 QA 对。GAEA-Bench 旨在通过整合地理定位功能来填补对话基准中的空白。
展示各种问题类型的定性示例，包括使用我们的开源模型在我们的 GAEA-1.6M 数据集上生成的多项选择、真/假、短和长 VQA。我们从 OSM 元数据中仔细选择地理标签来生成 QA 对。
评估管道突出了我们在 GAEA-1.6M 中引入的各种问题类型。我们使用 GPT-4o 作为评委来对此类回答进行评分。
具有单阶段训练策略的 GAEA 架构，包括可训练的 MLP 层和LLM权重。
我们的分类准确性管道通过将城市和乡村预测与从 GPS 坐标得出的地面实况注释进行比较来评估城市和乡村预测，并以 GPT-4o 作为评估器。
城市和国家标签的分类准确性，其中 GAEA 将自己确立为强大的基线，在性能上超过了最近的几个 LMM。
三、展望GAEA-1.6M数据集应用场景
比如：城市规划中的基础设施分布优化
以前的情况：
在传统的城市规划中，城市规划者主要依赖于有限的地理信息和基础设施数据来进行城市规划和资源分配。例如，他们通常会使用土地利用数据、人口普查数据和一些基本的地理信息系统（GIS）工具来分析城市的地理特征和基础设施分布。这些数据往往存在以下问题：
数据分辨率低：传统的土地利用数据分辨率较低，通常为几公里甚至更大，难以精确反映城市内部的细节。
数据更新不及时：人口普查数据通常每几年更新一次，难以反映实时的城市变化。
缺乏动态交互能力：传统的地理信息系统工具虽然可以提供一些地理信息，但无法与用户进行动态交互，难以根据实时需求提供具体的位置信息和相关建议。
现在有了 GAEA-1.6M 之后的情况
GAEA-1.6M 数据集的出现为城市规划者提供了全新的工具和方法，极大地改善了城市规划的效率和准确性。以下是具体的应用场景：
高分辨率地理信息：GAEA-1.6M 数据集提供了高分辨率（1km×1km）的地理信息，涵盖了全球 234 个国家和地区的 40,000 多个城市。城市规划者可以利用这些高分辨率数据，更精确地分析城市的地理特征和基础设施分布。
动态交互能力：GAEA-1.6M 数据集支持与用户的动态交互，城市规划者可以通过对话的方式获取具体位置的详细信息，例如周边的基础设施、交通状况、人口密度等。这种交互能力使得城市规划者能够根据实时需求调整规划方案。
丰富的问答对：数据集中包含约 160 万问答对，涵盖了地理定位、推理和对话等多个方面。城市规划者可以利用这些问答对训练模型，使其能够更好地理解和回答与城市规划相关的问题。
多维度分析：GAEA-1.6M 数据集不仅提供了地理信息，还结合了气候、交通、土地利用等多种辅助信息。城市规划者可以利用这些多维度的数据，进行更全面的城市分析和规划。
通过 GAEA-1.6M 数据集，城市规划者可以更高效地进行城市规划和资源分配，为城市的可持续发展提供有力支持。