一、影像相关原理
影像相关是利用互相关函数,评价两块影像的相似性以确定同名点。
数字相关是利用计算机对数字影像进行数值计算完成影像的相关。
二、数字影像匹配基本算法
影像匹配的实质是在两幅(或多幅)影像之间识别同名点。
常见的五种基本匹配算法:
相关函数(矢量数积)------越大越好
协方差函数(矢量投影)------越大越好
相关系数(矢量夹角)------越大越好
差平方和(差矢量模)------越小越好
差绝对值和(差矢量分量绝对值和)------越小越好
影像匹配需要考虑的几个问题:
影像几何变形 + 影像辐射变形 影响影像匹配的成果率和精度
影像重复纹理 + 地形与地物遮挡 易造成误匹配
三、最小二乘匹配
最小二乘影像匹配充分利用了影像窗口内的信息进行平差计算,使影像匹配达到 1/10 像素精度。
影像灰度的系统畸变有两大类:辐射畸变、几何畸变。
四、特征匹配
SIFT算子:基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子------SIFT(Scale Invariant Feature Transform)算子,即尺度不变特征变换。
SIFT算子的主要特点如下:
①SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
②独特性好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配。
③多量性,即使少数的几个物体也可以产生大量SIFT特征向量。
④可扩展性,可以很方便地与其他形式的特征向量进行联合。
SIFT算子的主要步骤如下:
①尺度空间的极值探测。
②关键点的精确定位。
③确定关键点的主方向。
④关键点的描述。
五、密集匹配
当通过局域网平差解算出影像精确定向参数后,则需通过密集匹配确定影像间密集同名点的方式来恢复三维场景或物体三维信息。
密集匹配大致分为两类:
①双目立体匹配:利用一对经过核线纠正的立体影像生成视差图,然后通过三维变换获得场景的三维信息。
②多视影像密集匹配:利用不同视角拍摄的多张影像直接获取场景的三维信息。
密集匹配的结果通过以 视差图、深度图、密集三维点 的形式表达。
密集匹配可以采用相关系数作为相似性测度,也可使用 互信息、Census 等匹配测度。
主要内容来自:潘励, 段延松, 刘亚文, 等. 摄影测量学. 2023.