论文阅读——RingMo

RingMo: A Remote Sensing Foundation Model With Masked Image Modeling

与自然场景相比,RS图像存在以下困难。

1)分辨率和方位范围大:受遥感传感器的影响,图像具有多种空间分辨率。此外,与自然图像的实例通常由于重力而具有固定方向不同,遥感图像中的物体从鸟瞰角度来看具有很大的角度分布范围。因此,由于尺度和角度的多样性,同一物体在不同的RS图像中具有不同的特征。

2)许多密集和小物体:大部分自然图像包含少量物体。例如,ImageNet 数据集每个图像平均包含少于三个对象实例 33。如图1所示,遥感图像通常大而宽,覆盖数百公里。 RS图像中存在许多小物体,而且它们通常分布较密集,这在一定程度上影响了物体级解释的精度。

3)背景复杂:由于RS图像包含较大的场景,除了感兴趣的物体外,图像还包含大量的背景信息,导致图像的信噪比较低。物体的边界和背景模糊,干扰物体分类。而且遥感图像容易受到天气、光线、云、雾等外界因素的干扰,影响成像质量。

本文的贡献可以概括为四个方面。

1)我们提出RS领域第一个生成式自监督基础模型框架(RingMo)。该框架利用大量遥感数据来获取一般特征表示并提高各种遥感解释任务的准确性。

2)为了增强基础模型对遥感数据的处理能力,我们根据遥感图像的特性设计了一种自监督方法,改善了之前的掩模策略可能忽略复杂遥感场景中密集和小物体的情况。

3)在没有任何人类监督的情况下,我们收集了包含 200 万张图像的 RS 数据集,这些图像是从卫星和空中平台捕获的,涵盖六大洲的不同物体和场景。这种包含大量且多样化的遥感图像的数据集提高了基础模型对不同场景的适应性。

  1. 在收集的数据集上使用 RingMo 训练方法推导基础模型后,我们在四个典型的 RS 任务上对其进行微调。实验表明,我们的方法在八个下游数据集上实现了 SOTA,并验证了我们的 RS 基础模型在各种应用上的有效性和泛化性。

模型:

PIMask Strategy:

如图 4 中左侧红色补丁所示,我们没有完全屏蔽图像补丁,而是随机保留屏蔽补丁中的一些像素。采用这种掩模策略,可以有效保留小目标的部分像素信息。就像图 4 中的蓝色补丁所示,我们增加了掩模补丁的数量以保持总掩模比率不变。此外,为了更好地利用这些保留像素,采用多层卷积来实现块嵌入。一些相关研究人员通过实验证明,在ViT中添加早期卷积层可以帮助模型更好地学习图像特征67。具体来说,在卷积过程中,我们让卷积核只在每个patch内部计算,这不能打破模型的mask约束。与传统的嵌入结果不同,多层卷积后的所有标记都具有特征信息,这进一步提高了编码器的学习效率。

相关推荐
大模型真好玩38 分钟前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi38 分钟前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手1 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌1 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥2 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder2 小时前
开题报告学习
人工智能
狂师3 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
金融小师妹3 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi3 小时前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia