计算机视觉基础（5）——特征点及其描述子

前言

本文我们将学习到特征点及其描述子。在特征点检测中，我们将学习角点检测和SIFT关键点检测器，角点检测以哈里斯角点检测器为例进行说明，SIFT将从高斯拉普拉斯算子和高斯差分算子展开。在描述子部分，我们将分别学习SIFT描述子和二进制描述子的概念、基本计算流程以及优劣评价，并给出实例进行说明。

一、特征点检测

首先，让我们来了解一下特征点的定义及其性质。

特征点：图像中具有独特局部性质的点。

特征点应用：

图像对其配准

3D重建

运动跟踪

机器人导航

图像检索

···

特征点有如下性质：

局部性：特征是局部的，对遮挡和混乱场景鲁棒
数量：一幅图像中可以产生足够数量的特征点，比如成百上千
独特性：可以和其他图像中大多数点相区分
高效：能够进行实时的检测和比较
可重复性：对图像进行旋转平移等操作后，仍能被检测到

1.1 角点检测器

1.1.1 角点

角点的定义：在一个以角点为中心的局部窗口内沿着，任意方向移动都会给亮度带来显著变化

1.1.2 角点检测

某个以（ 𝑥, 𝑦 ）为中心的局部窗口𝑊经过（𝑢, 𝑣）的微小偏移后，窗口内部亮度发生的变化量，可以用SSD表示为：

【举例说明】

我们不妨设：

【水平方向边缘】

【竖直方向边缘】

【重点：需要理解】

【举例说明】

用二阶矩矩阵的特征值对图像中的点进行分类：

【举例说明】

1.1.3 哈里斯角点检测器

用Harris角点响应函数对图像中的点进行分类：

1.1.4 小结

【流程总结】

【特点】

1.2 SIFT关键点检测器

基本思想：用一个**突出区域滤波器(blob filter)**对图像在多个尺度上进行卷积并在尺度空间寻找滤波器响应的极值

blob定义：图像等信号内出现"灰度突变"的区域

1.2.1 高斯拉普拉斯算子

Laplacian of Gaussian，LOG

**定义：**将拉普拉斯算子作用到高斯平滑过的图像上来检测Blob

拉普拉斯算子运算结果如图所示：

接下来，我们对高斯拉普拉斯算子进行详细的分析：

通过对上图的分析，我们不难得到如下结论：在信号中blob尺度和LoG中高斯平滑尺度接近时，其响应最大。

但是拉普拉斯算子出现了如下问题：**响应随着其LoG中高斯平滑尺度的增加而减小。**如下所示：

解决方案是进行尺度归一化(Scale Normalization)，即× 𝜎²。如下所示：

使用高斯拉普拉斯算子进行计算的实例如下：

1.2.2 高斯差分算子

Difference of Gaussian, DoG

高斯拉普拉斯算子（LoG）需要计算二阶导数，计算复杂度会比计算一阶高，因此考虑可以用一阶高斯差分来近似。由此引出高斯差分算子的概念：

高斯差分算子 (Difference of Gaussian, DoG)具有如下特点：

高斯模糊过的图像可以去除噪声的影响；

高斯差分操作可以只保留相邻层模糊水平之间的频率，即类似一种带通滤波；

可以突显图像中的角、边和其他细节；

使用高斯差分算子进行关键点检测的结果，展示如下：

二、特征描述子

在正式进入特征描述子的学习之前，我们需要知道什么样的特征描述子是好的、优秀的。

好的特征描述子应该具有如下性质：

鲁棒性：对多种几何变换和光照变换具有一定的不变性

独特性：一个区域的特征描述子和其他区域能很好的区分开

紧致性：仅用较低维的向量就可以对该特征进行鲁棒和独特的描述

计算高效：可以快速的计算特征描述子并进行高效的比较

常用的特征描述子如下：

HOG: Histogram of Oriented Gradients

SIFT: Scale Invariant Feature Transform

SURF: Speeded-Up Robust Features

GLOH: Gradient Location and Orientation Histogram

BRIEF: Binary Robust Independent Elementary Features

ORB: Oriented FAST and rotated BRIEF

BRISK: Binary Robust Invariant Scalable Keypoints

FREAK: Fast REtinA Keypoint