计算机视觉与深度学习-卷积神经网络-卷积&图像去噪&边缘提取-卷积与边缘提取-[北邮鲁鹏]

目录标题

参考学习链接
什么是图像边缘？
为什么研究边缘？
有哪些边缘种类？
如何检测边缘？
- 图像求导
- 图像梯度
- - 图像梯度的方向
  - 图像梯度的模
- 噪声的影响
- - 噪声影响带来的问题
  - 解决办法（先平滑处理）
  - - 高斯核去噪
    - 高斯一阶偏导核
    - [高斯核 vs 高斯一阶偏导核](#高斯核 vs 高斯一阶偏导核)
- 边缘检测目标
- - Canny边缘检测器
  - 高斯一阶偏导核卷积图像
  - 非极大值抑制
  - 门限过滤
  - - [Canny如何选择去噪时的门限值？- 双阈值](#Canny如何选择去噪时的门限值？- 双阈值)

参考学习链接

计算机视觉与深度学习-04-图像去噪&卷积-北邮鲁鹏老师课程笔记

什么是图像边缘？

图像中亮度明显而急剧变化的点

为什么研究边缘？

1 编码图像中的语义与形状信息。

2 相对于像素表示，边缘表示显然更加紧凑。

有哪些边缘种类？

表面法向不连续

瓶盖上方的法线向上，瓶盖周围的法线向外。

深度不连续

真实图片中是不存在的，拍照照到的地方和照不到的地方的边界。

表面颜色不连续

如这几个AOT字母产生的边

识别物体时需考虑，品牌标签等

光照不连续

感知物体位置时需要考虑，与周围物体的位置关系。例如：阴影。

如何检测边缘？

边缘处的导数取最值

图像求导

2D函数f(x,y)的偏导为：

对x的偏导
∂ f ∂ x = lim ⁡ ε → 0 f ( x + ε , y ) − f ( x , y ) ε \frac{{\partial f}}{{\partial x}}=\lim_{{\varepsilon \to 0}} \frac{{f(x + \varepsilon, y) - f(x, y)}}{{\varepsilon}} ∂x∂f=ε→0limεf(x+ε,y)−f(x,y)
对y的偏导
∂ f ( x , y ) ∂ x = lim ⁡ ε → 0 f ( x , y + ε ) − f ( x , y ) ε \frac{{\partial f(x,y)}}{{\partial x}}=\lim_{{\varepsilon \to 0}} \frac{{f(x, y + \varepsilon) - f(x, y)}}{{\varepsilon}} ∂x∂f(x,y)=ε→0limεf(x,y+ε)−f(x,y)

图像求导公式

将2D函数中求偏导公式中邻域范围改成1，得到的效果还可以。所以一直沿用。
∂ f ( x , y ) ∂ x ≈ f ( x + 1 , y ) − f ( x , y ) 1 \frac{{\partial f(x,y)}}{{\partial x}} \approx \frac{{f(x + 1, y) - f(x, y)}}{{1}} ∂x∂f(x,y)≈1f(x+1,y)−f(x,y)

由上图中图像求导公式可知：

图像求导公式 = 右边像素 f ( x + 1 , y ) − 自己 f ( x , y ) 图像求导公式 = 右边像素 f(x + 1,y) - 自己f(x,y) 图像求导公式=右边像素f(x+1,y)−自己f(x,y)

因此，图像求导可以通过卷积核实现。

举例，对图像使用高斯核进行卷积

x方向求导，检测的是横向像素间差别，求出来是y方向的边。

y方向求导，检测的是纵向像素间差别，求出来是x方向的边。

图像梯度

Δ f = [ ∂ f ∂ x , ∂ f ∂ y ] Δf = [\frac{{\partial f}}{{\partial x}},\frac{{\partial f}}{{\partial y}}] Δf=[∂x∂f,∂y∂f]

即两个方向的导数组成的向量

图像梯度的方向

与边缘方向垂直

梯度方向=arctan(对y偏导数 / 对x偏导数)

θ = arctan ⁡ ( ∂ f ∂ x , ∂ f ∂ y ) \theta = \arctan\left(\frac{{\partial f}}{{\partial x}}, \frac{{\partial f}}{{\partial y}}\right) θ=arctan(∂x∂f,∂y∂f)

梯度方向与信号的方向垂直，求出梯度方向就可以知道信号的方向。

梯度方向是灰度变换最快的方向。

图像梯度的模

用图像梯度的模来反映图像的边缘信息。

∣ ∣ V f ∣ ∣ = ( ∂ f ∂ x ) 2 + ( ∂ f ∂ y ) 2 |\left|{\mathcal{V}}f\right||={\sqrt{\left({\frac{\partial f}{\partial x}}\right)^{2}+\left({\frac{\partial f}{\partial y}}\right)^{2}}} ∣∣Vf∣∣=(∂x∂f)2+(∂y∂f)2

梯度模：值越大表示当前点是边缘的可能性越大。

噪声的影响

噪声图像的某一行或列的灰度值随位置变换的情况

噪声影响带来的问题

若对灰度函数直接求导，图像中不能确定最大导数位置。

解决办法（先平滑处理）

高斯核去噪

从图像上看，每个点都有噪声，这是高斯噪声的特点，所以考虑使用高斯核去噪平滑，之后对去噪后的信号求导。

缺点：需要进行2次卷积操作，一次f *g，一次求x偏导

第一次卷积：高斯去噪
第二次卷积：图像求导（对x求偏导 − 1 ∣ 1 -1|1 −1∣1，对y求偏导 1 − 1 \frac{1}{-1} −11）

解决办法：卷积交换律（高斯一阶偏导核）

先对高斯卷积核（平滑）进行求导卷积（求导），得到新的卷积核（求导+平滑），再

用这个新的卷积核与原图卷积。

高斯一阶偏导核

高斯卷积+求导卷积

d d x ( f ∗ g ) = f ∗ d d x g \frac{d}{d x}(f*g)=f*\frac{d}{d x}\,g dxd(f∗g)=f∗dxdg

微分是卷积，而卷积具有结合性

节约了一次图像卷积的操作！

高斯一阶偏导核权值可视化

一半正，一半负。

高斯一阶偏导卷积核的方差参数

上图中，从左到右，高斯一阶偏导卷积核的方差分别为1,3,7。

方差大，提取粗粒度轮廓。
方差小，提取细粒度轮廓。

高斯核 vs 高斯一阶偏导核

高斯核

消除高频成分（低通滤波器）
卷积核中的权值不可为负数
权值总和为1（恒定区域不受卷积影响）

高斯一阶偏导核

高斯的导数
卷积核中的权值可以为负
权值总和是0（恒定区域无响应）
- 恒定区域无响应，即恒定区域不会有边缘
- 例如一张全白的图，使用[-3,2] 求导， 1 ∗ ( − 3 ) + 1 ∗ 2 = − 1 1 * (-3) + 1 * 2 = -1 1∗(−3)+1∗2=−1，计算结果显示有梯度，与实际不符，全白的图不可能有梯度。所以必须使得权值总和为0，保证像这样的情况才不会出错。
高对比度点的响应值大
- 响应值越大，表示该点是边缘点的概率越大。