CoFSM基于共现尺度空间的多模态遥感图像匹配方法--论文阅读记录

目录

[论文 Multi-Modal Remote Sensing Image Matching Considering Co-Occurrence Filter](#论文 Multi-Modal Remote Sensing Image Matching Considering Co-Occurrence Filter)

参考论文:SIFT系列论文,

[SIFT Distinctive Image Features from Scale-Invariant Keypoints,作者:David G. Lowe](#SIFT Distinctive Image Features from Scale-Invariant Keypoints,作者:David G. Lowe)

[快速样本共识算法FSC:A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration ,Digital Object Identifier 10.1109/LGRS.2014.2325970](#快速样本共识算法FSC:A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration ,Digital Object Identifier 10.1109/LGRS.2014.2325970)

低通巴特沃斯滤波器

Shi-Tomasi特征检测:

不同分辨率图像配准

SAR-SIFT:

基于共现矩阵的共现滤波

PSO-SIFT

总结CoFSM流程图

描述符构建过程:

特征向量匹配阶段:


论文 Multi-Modal Remote Sensing Image Matching Considering Co-Occurrence Filter

Digital Object Identifier 10.1109/TIP.2022.3157450

论文主要提出基于共现尺度空间进行图像配准。

参考论文:SIFT系列论文,

SIFT Distinctive Image Features from Scale-Invariant Keypoints,作者:David G. Lowe

除了SIFT论文中提出的经典的尺度空间构造等细节,下图关于base_image的创建也是值得注意的,根据3.3 Frequency of sampling in the spatial domain第二段,有时候可以对输入图片进行长宽扩大一倍达到增大等效第一层的尺度sigma的效果(因为sigma越大卷积耗时越久)

另外,特征匹配阶段的最近邻次近邻比也值得注意,

特征向量构建:1.网格划分2.统计每个格子,每个格子用一个向量表示,每个特征点的方向维数

NMS非最大值抑制 3*3*3邻域

相关代码可以查看opensift,或者见sift 解释-CSDN博客

快速样本共识算法FSC:A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration ,Digital Object Identifier 10.1109/LGRS.2014.2325970

低通巴特沃斯滤波器

低通巴特沃斯滤波器是一种常用的信号处理滤波器,用于滤除输入信号中高频成分,只保留低频成分。它基于巴特沃斯滤波器的设计原理,其中包括了一些参数,比如截止频率和阶数。

截止频率(cutoff frequency):低通巴特沃斯滤波器的截止频率指的是滤波器开始减弱信号幅度的频率。截止频率越低,滤波器就会滤除更高频率的信号。

阶数(order):低通巴特沃斯滤波器的阶数决定了其滤波器的陡峭程度。阶数越高,滤波器在截止频率附近的衰减越快,但也会导致相位延迟增加。

这是低通巴特沃斯滤波器的传递函数公式,其中 是滤波器的传递函数,是复频率变量, 是截止频率, 是滤波器的阶数。

CoFSM中低通巴特沃斯滤波器的介绍如下

Shi-Tomasi特征检测:

Good Features to Track 在Harris基础上,自相关矩阵最小特征值作为响应值,和自定义阈值进行比较即可判断出角点与否。角点检测:Harris 与 Shi-Tomasi - 知乎

matlab函数:detectMinEigenFeatures

不同分辨率图像配准

Matching Images with Different Resolutions

不同分辨率下Harris自相关矩阵形式

SAR-SIFT:

A SIFT-Like Algorithm for SAR Images

基于共现矩阵的共现滤波

Bilateral Filtering: Theory and Applications

Co-Occurrence Filter

PSO-SIFT

Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching

主要创新点:定义新的梯度图像;结合位置-尺度-方向的特征匹配方法

使用二阶导数梯度作为图像梯度

结合位置-尺度-方向的特征匹配方法

An Efficient SIFT-Based Mode-Seeking Algorithm for Sub-Pixel Registration of Remotely Sensed Images logic filter

总结CoFSM流程图

描述符构建过程:

对于输入图片image,首先进行共现矩阵的计算随后获得共现滤波的每层尺度,并计算共现尺度空间,随后进行特征检测部分,结合低通滤波和Sobel的二阶导数梯度计算,基于Shi-Tomasi进行特征点检测并去除重复特征点。描述符构建就是基于检测到的特征点在对数极坐标下进行描述符构建,其中对数极坐标网格划分为每个圆环划分为9个区域,梯度方向直方图统计按照8bin统计。

特征向量匹配阶段

参考PSO-SIFT,仅取其中的position的部分,首先进行基于欧式距离的匹配,随后进行基于位置欧式距离匹配,最后再进行快速样本共识FSC匹配去除误匹配点对(粗差剔除)。

Fig Multi-modal image matching process of CoFSM method

相关推荐
天涯海风1 小时前
检索增强生成(RAG) 缓存增强生成(CAG) 生成中检索(RICHES) 知识库增强语言模型(KBLAM)
人工智能·缓存·语言模型
lxmyzzs2 小时前
基于深度学习CenterPoint的3D目标检测部署实战
人工智能·深度学习·目标检测·自动驾驶·ros·激光雷达·3d目标检测
跟着珅聪学java3 小时前
Apache OpenNLP简介
人工智能·知识图谱
AwhiteV3 小时前
利用图数据库高效解决 Text2sql 任务中表结构复杂时占用过多大模型上下文的问题
数据库·人工智能·自然语言处理·oracle·大模型·text2sql
Black_Rock_br3 小时前
AI on Mac, Your Way!全本地化智能代理,隐私与性能兼得
人工智能·macos
☺����4 小时前
实现自己的AI视频监控系统-第一章-视频拉流与解码2
开发语言·人工智能·python·音视频
fsnine4 小时前
机器学习——数据清洗
人工智能·机器学习
小猿姐5 小时前
KubeBlocks AI:AI时代的云原生数据库运维探索
数据库·人工智能·云原生·kubeblocks
算法_小学生5 小时前
循环神经网络(RNN, Recurrent Neural Network)
人工智能·rnn·深度学习
吱吱企业安全通讯软件6 小时前
吱吱企业通讯软件保证内部通讯安全,搭建数字安全体系
大数据·网络·人工智能·安全·信息与通信·吱吱办公通讯