前言:
在本文中,将会演示具体的CNN是如何实现图像识别和训练的 ,当然这里的解释的是最简的CNN识别以及最简的训练模型,本篇文章是作为总篇,识别和训练分两篇放在下面,本篇主要用于前提概念解释
1. 前提原理
在演示详细的代码之前,有必要先解释一下CNN训练的最简原理,方便读者理解
1. CNN 图像识别原理
基本原理: 最简CNN图像识别的基本原理是用小区域的特征去计算大图每个小区域的特征,看计算结果与CNN提供的Kernel特征核的相关程度,若是符合相关特征,则在该像素点上打上权重,最后拿到这个权重图。
在代码实现上,图中的每个区域取法上采用滑动窗口的方式截取原图中的特征区域,运算规则是将窗口与Kernel特征核的对应位置做乘法然后求和
这个算出来就是上文所说的在该点的权重,当然权重是单通道的,比如灰度图那种,多通道的则每个特征核对应算出来的不是直接的权重,而是需要每个通道再打上一个二层权重,最后输出总权重
1. 特征核Kernel
特征核概括了当前小区域内的特征,举个小例子:-1 , 1,这个特征概括了竖直分界线的特征,比如灰度图像为 0, 255的一个位置(分界线),此时算出权重
,而如果原图位置255, 255没有边界则
可以看出特征核可以算出当前位置符合特征的权重(特征相应)。
而CNN图像识别中使用的特征核,则是在空间上进行了扩大,比如Soble_X竖线核
这里扩大到了空间上的 3x3,同上原理可以计算图像内的竖线,最后获得权重图。
2. 滑动窗口
由于Kernel核计算需要逐元素向乘相加,所以同Kernel核计算矩阵的就是从图像中逐个取出的同尺寸的小矩阵。而滑动窗口就是干这个的,它负责取出图像中每一个同Kernel大小的小矩阵,取法为: 当前像素位置作为矩阵左上角,取出Kernel尺寸的矩阵。同时为了保存图像的空间信息,所以矩阵取出的步长为1,就是每个像素均取一次,同时每取出一次与Kernel核计算一次(当然步长取大于1也行,计算量会减少,但是输出的图像大小也会被减小)
在代码中,为了实现一次性并行计算,通常会一次性算出 对应坐标:对应滑动窗口 的矩阵,然后展平和Kernel核做运算,一次性出结果
3. 边缘补充Padding
由于从原图中取出的矩阵是以中心点为左上角取出的,所以不可避免的是最后会有几行会由于大小不够而被丢弃,导致输出的滑动窗口矩阵会小于原图。为了解决这个情况,需要对边缘进行补齐,一般0,来使得输出和原图大小一致。补充的大小取决于Kernel核的大小(因为窗口根据核来取的)。补齐一般补上 Kernel 的尺寸就行了
2. CNN 图像训练
基本原理: CNN 图像训练主要训练是特征核和分类头。我们知道CNN可以根据Kernel给的特征去输出,那么我们可以让模型概括一些人类不能直接写出来的Kernel特征核 ,比如去识别一只小狗,或者一个苹果,最后人类再拿训练完的特征,回到图像识别去划出上文所讲的权重,最后把权重最密集的那一部分用框标出来(热力图识别),就能实现识别多边形物体。
由于训练的Kernel核比较小,而图像整体非常大,所以训练的Kernel要概括组合特征,就是将多个Kernel核按照权重融合在一起,下文会解释一些基本的原理
1. 第一层多通道输出,随机生成Kernel(前向传播)
由于事先不知道特征,而且模型是需要学习的,所以在训练前需要提前生成多个与训练大小一致的Kernel核。生成的Kernel核的数量与需求的输出通道一致,每个Kernel对应着一个不同或者同样的从图中学习到的特征(一般来讲特征需要人工标注,比如狗,人需要手动标注哪些区域是狗),当然这里还没有学习。
一般来讲,我们每一次生成都是下面的形式
也可以是
这里的 是前面一次生成的
,这样子做的意义是反向传播的时候,可以直接使用
当作后续层级的导数,直接传播,两种方法反向传播时使用的矩阵乘积方法与前向的时候应该时候的是一致的,具体在后文解释
2. 标签label
模型本身不知道要训练什么,标签就是提供训练标准的。比如一只狗,我们要训练对应能响应狗的Kernel,则需要使用我们主动从图中标记的正确描述狗的窗口作为标签,然后模型往标签靠齐。
标签一般是用对应概率的索引作为元素,对于预测是或者不是的,则用 0(不是) 和1(是) 作为每个像素或者窗口的元素。
用来和标签做运算的一般是模型做出的预测,比如Kernel核运算出来的结果,第二次用分类头预测后拿到一个比如二分概率 不是的概率, 是的概率,然后按照标签的索引,取出模型在该位置对应的预测分数(如果是预测大概率是对的那么对应索引拿出的应该是比较大的概率)
举个例子,比如 4x5 的图像
核为
训练的分类头为
若是要训练竖线检测,则打出的标签为
代表标注为1的点,代表这里为竖线,模型拿着分类头,去计算图像中某个像素的可能为竖线的概率,最后返回一个形状为 H, W, 2 的预测,然后展平图像预测和标签,去计算拟合
3. 损失度loss
loss 是衡量模型当前输出,和我们期望的标准标签之间差距的指标,也就是上述标签介绍里计算拟合的具体数值。loss越低代表模型和标签差距越低,反之则越高,最基本loss计算公式是
samples是使用分类头计算完成后的整张图的预测矩阵,最高维度中每个都是同样的
类别1概率,类别2的概率,类别3的概率......
这是多点平均loss,翻译过来就是取摊平后的模型预测概率后,用标签给的索引拿出概率,然后取自然对数,最后求和后求平均。
softmax在这里的作用是将模型预测出的每个像素的中的所有概率之和归一,对于每个像素的概率预测, 单个softmax为
比如模型原始预测(二分)为 -10, 10,那么每个元素的归一公式就是
那么
这里代表模型预测给出第二类的预测非常高,而第一类非常低
同时我们带回loss公式就可以知道这点的 loss,在该点标签为0时,和标签为1时为
需要注意的是,如果直接用这个公式计算,若是元素中有非常大的数值比如
-1000, 1000,也就是会出现 这种数,计算机会直接inf
所以实际可以这样转化: 对于单个loss,先展开softmax
最后合并单个loss,可以得到
简化符号
当然到这里还是会出现inf,真正不出现inf的操作是将后面的
的操作转化为
这个操作可以使用 Pytorch的 logsumexp 完成
4. 反向传播
在计算完loss以后,模型需要纠正自己的Kernel核或者是其他的信息,而反向传播就是纠正的步骤,原理就是求出loss与被训练的矩阵的梯度,然后拿着loss对应的梯度矩阵乘以学习率或者其他的东西减回去**(因为我们要的是loss下降,梯度如果算出来是正的,意味着沿着该点执行加法就是在增加梯度,所以要减)** ,也就是按照着loss减小最快的方向移动原信息。梯度描述了在该点下函数下降的最快的方向,在简单的一元函数下,梯度就是导数。
而计算loss可能使用的并不直接是以我们要求的梯度的对象作为自变量的,所以需要使用链式求导法则链式求到我们需求的变量
拿单Kernel核训练来举例,我们算完loss以后,需要求 loss 与被参与用来计算loss的Kernel核的梯度,然后减回到Kernel核中,更新核的信息。
由于上文中loss中使用的计算顺序是
训练Kernel核 -> 分类头结果(sample) -> loss
所以导数的链式求导则是反过来
这里的feature2就是要训练的分类头,feature就是要训练的Kernel核或者Kernel集合
我们先对反向的第一层求偏导:
上文已知的是loss对samples的公式
,将i去除,先研究单个样本的导数
,注意这里的
就是标签下标
我们对任意的在单样本下标位置为 的位置求导得
由于对下标为 的位置求导,所以其他位置
当作常数,均为0,所以有
我们令 ,而
在
的时候,求导为 -1,
的时候则为常数,求导为 0,所以反向第一层求导结果为
也就是说只有被标签选中的那一个点会被 -1,拿到负数的梯度(代表这个点的预测概率应该被提高),后续执行减法的时候对该点就会增加对应的预测概率来拟合正确标签,而其他的点则执行不同程度的下降
所以最终合并的总梯度求导为
当然这里求的是梯度的平均,并不是我们需要的梯度矩阵,我们用来反向传播的矩阵是
然后对后续的层级求导:
由于我们前向传播的形式为
所以如果我们执行 对
求导,则有
执行 对
求导则有
所以我们上述的链式传播结果就是
也就是拿到原来Kernel矩阵对应大小的矩阵,其中矩阵中的每一个位置都对应了Kernel训练核中每个位置的梯度。
最后调整训练Kernel矩阵的参数:
2. 具体代码实现
1. CNN多通道Kernel识别
(文章正在更新中......)
2. CNN模型训练器
(文章正在更新中......)