论文阅读——RingMo

RingMo: A Remote Sensing Foundation Model With Masked Image Modeling

与自然场景相比,RS图像存在以下困难。

1)分辨率和方位范围大:受遥感传感器的影响,图像具有多种空间分辨率。此外,与自然图像的实例通常由于重力而具有固定方向不同,遥感图像中的物体从鸟瞰角度来看具有很大的角度分布范围。因此,由于尺度和角度的多样性,同一物体在不同的RS图像中具有不同的特征。

2)许多密集和小物体:大部分自然图像包含少量物体。例如,ImageNet 数据集每个图像平均包含少于三个对象实例 [33]。如图1所示,遥感图像通常大而宽,覆盖数百公里。 RS图像中存在许多小物体,而且它们通常分布较密集,这在一定程度上影响了物体级解释的精度。

3)背景复杂:由于RS图像包含较大的场景,除了感兴趣的物体外,图像还包含大量的背景信息,导致图像的信噪比较低。物体的边界和背景模糊,干扰物体分类。而且遥感图像容易受到天气、光线、云、雾等外界因素的干扰,影响成像质量。

本文的贡献可以概括为四个方面。

1)我们提出RS领域第一个生成式自监督基础模型框架(RingMo)。该框架利用大量遥感数据来获取一般特征表示并提高各种遥感解释任务的准确性。

2)为了增强基础模型对遥感数据的处理能力,我们根据遥感图像的特性设计了一种自监督方法,改善了之前的掩模策略可能忽略复杂遥感场景中密集和小物体的情况。

3)在没有任何人类监督的情况下,我们收集了包含 200 万张图像的 RS 数据集,这些图像是从卫星和空中平台捕获的,涵盖六大洲的不同物体和场景。这种包含大量且多样化的遥感图像的数据集提高了基础模型对不同场景的适应性。

  1. 在收集的数据集上使用 RingMo 训练方法推导基础模型后,我们在四个典型的 RS 任务上对其进行微调。实验表明,我们的方法在八个下游数据集上实现了 SOTA,并验证了我们的 RS 基础模型在各种应用上的有效性和泛化性。

模型:

PIMask Strategy:

如图 4 中左侧红色补丁所示,我们没有完全屏蔽图像补丁,而是随机保留屏蔽补丁中的一些像素。采用这种掩模策略,可以有效保留小目标的部分像素信息。就像图 4 中的蓝色补丁所示,我们增加了掩模补丁的数量以保持总掩模比率不变。此外,为了更好地利用这些保留像素,采用多层卷积来实现块嵌入。一些相关研究人员通过实验证明,在ViT中添加早期卷积层可以帮助模型更好地学习图像特征[67]。具体来说,在卷积过程中,我们让卷积核只在每个patch内部计算,这不能打破模型的mask约束。与传统的嵌入结果不同,多层卷积后的所有标记都具有特征信息,这进一步提高了编码器的学习效率。

相关推荐
The_Ticker11 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客17 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf218 分钟前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎
有Li26 分钟前
跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用
人工智能·计算机视觉
新加坡内哥谈技术1 小时前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
GOTXX1 小时前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
IT古董1 小时前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
CV学术叫叫兽1 小时前
快速图像识别:落叶植物叶片分类
人工智能·分类·数据挖掘
xrgs_shz1 小时前
MATLAB读入不同类型图像并显示图像和相关信息
图像处理·计算机视觉·matlab
WeeJot嵌入式2 小时前
卷积神经网络:深度学习中的图像识别利器
人工智能