论文阅读——RingMo

RingMo: A Remote Sensing Foundation Model With Masked Image Modeling

与自然场景相比,RS图像存在以下困难。

1)分辨率和方位范围大:受遥感传感器的影响,图像具有多种空间分辨率。此外,与自然图像的实例通常由于重力而具有固定方向不同,遥感图像中的物体从鸟瞰角度来看具有很大的角度分布范围。因此,由于尺度和角度的多样性,同一物体在不同的RS图像中具有不同的特征。

2)许多密集和小物体:大部分自然图像包含少量物体。例如,ImageNet 数据集每个图像平均包含少于三个对象实例 [33]。如图1所示,遥感图像通常大而宽,覆盖数百公里。 RS图像中存在许多小物体,而且它们通常分布较密集,这在一定程度上影响了物体级解释的精度。

3)背景复杂:由于RS图像包含较大的场景,除了感兴趣的物体外,图像还包含大量的背景信息,导致图像的信噪比较低。物体的边界和背景模糊,干扰物体分类。而且遥感图像容易受到天气、光线、云、雾等外界因素的干扰,影响成像质量。

本文的贡献可以概括为四个方面。

1)我们提出RS领域第一个生成式自监督基础模型框架(RingMo)。该框架利用大量遥感数据来获取一般特征表示并提高各种遥感解释任务的准确性。

2)为了增强基础模型对遥感数据的处理能力,我们根据遥感图像的特性设计了一种自监督方法,改善了之前的掩模策略可能忽略复杂遥感场景中密集和小物体的情况。

3)在没有任何人类监督的情况下,我们收集了包含 200 万张图像的 RS 数据集,这些图像是从卫星和空中平台捕获的,涵盖六大洲的不同物体和场景。这种包含大量且多样化的遥感图像的数据集提高了基础模型对不同场景的适应性。

  1. 在收集的数据集上使用 RingMo 训练方法推导基础模型后,我们在四个典型的 RS 任务上对其进行微调。实验表明,我们的方法在八个下游数据集上实现了 SOTA,并验证了我们的 RS 基础模型在各种应用上的有效性和泛化性。

模型:

PIMask Strategy:

如图 4 中左侧红色补丁所示,我们没有完全屏蔽图像补丁,而是随机保留屏蔽补丁中的一些像素。采用这种掩模策略,可以有效保留小目标的部分像素信息。就像图 4 中的蓝色补丁所示,我们增加了掩模补丁的数量以保持总掩模比率不变。此外,为了更好地利用这些保留像素,采用多层卷积来实现块嵌入。一些相关研究人员通过实验证明,在ViT中添加早期卷积层可以帮助模型更好地学习图像特征[67]。具体来说,在卷积过程中,我们让卷积核只在每个patch内部计算,这不能打破模型的mask约束。与传统的嵌入结果不同,多层卷积后的所有标记都具有特征信息,这进一步提高了编码器的学习效率。

相关推荐
Tony聊跨境7 分钟前
独立站SEO类型及优化:来检查这些方面你有没有落下
网络·人工智能·tcp/ip·ip
懒惰才能让科技进步13 分钟前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Qspace丨轻空间23 分钟前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
没有不重的名么25 分钟前
门控循环单元GRU
人工智能·深度学习·gru
love_and_hope28 分钟前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
2403_8757368744 分钟前
道品科技智慧农业中的自动气象检测站
网络·人工智能·智慧城市
学术头条1 小时前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典1 小时前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
ai_xiaogui1 小时前
AIStarter教程:快速学会卸载AI项目【AI项目管理平台】
人工智能·ai作画·语音识别·ai写作·ai软件
孙同学要努力1 小时前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络