白话机器学习5:卷积神经网络(CNN)原理

1.神经元

激活函数f(z)的种类:

2.卷积方法种类

https://mp.weixin.qq.com/s/FXzTbMG64jr93Re31Db2EA

  1. 标准卷积(Standard Convolution):

    • 特点:每个卷积核在输入数据的整个深度上滑动,计算输出特征图的一个元素。
    • 应用场景:适用于大多数标准的CNN应用,如图像分类、物体检测等。
    • 数据特征:通用性强,可以应对各种数据类型。
  2. 分组卷积(Grouped Convolution):

    • 特点:将输入和卷积核分成几组,每组独立进行卷积操作,可以减少参数数量和计算量。
    • 应用场景:用于大型网络和复杂任务中减少计算负担,如在ResNeXt架构中使用。
    • 数据特征:当模型参数过多,计算资源有限时使用。
  3. 空洞卷积(Dilated Convolution/Atrous Convolution):

    • 特点:在卷积核的元素之间插入"空洞"以增加感受野,不增加参数数量。
    • 应用场景:适合于需要较大感受野的应用,如语义分割,或者在自然语言处理中用于捕捉长距离依赖。
    • 数据特征:当输入数据需要更大的上下文理解时使用。
  4. 深度可分离卷积(Depthwise Separable Convolution):

    • 特点:分两步进行,首先是深度卷积(每个通道独立卷积),然后是点卷积(1x1卷积来组合深度卷积的输出),这可以显著减少计算量和参数数量。
    • 应用场景:在移动和嵌入式设备上运行的模型中常用,如MobileNets架构。
    • 数据特征:对于计算效率和模型大小有严格限制时使用。
  5. 反卷积(Transposed Convolution/Deconvolution):

    • 特点:通常用于放大特征图(如在某些类型的自动编码器和生成对抗网络中)。
    • 应用场景:在图像超分辨率、语义分割以及生成模型等领域中,需要从低分辨率的特征图中重建出高分辨率的图像或特征图时使用。
    • 数据特征:需要增加特征图空间分辨率的场景。

https://www.jianshu.com/p/4d3ec56e7d05

原本卷积:

"same填充"(Padding):

为了避免原始卷积操作中,数据越来越小:

3.卷积神经网络CNN

(1)卷积层

上述2中各种卷积方法

(2)激活层

上述1中各种激活函数

(3)BN 层(BatchNorm)

将输入值的分布强行拉回到均值为0,方差为1的标准正态分布,加速网络的收敛速度

(4) 化层(pooling)

下采样,对部分特征矩阵选一个特征值或数值,从而进一步变小

常见有:Max Pooling(最大池化)、Average Pooling(平均池化)

(5)F C层(全连接层)

最后再加一层普通神经元(无隐层感知器或一个、多个隐层的感知器)

(6)优化层

为了更高效的优化网络结构(损失函数最小),即是网络的优化策略,主要方法如下:

相关推荐
元亓亓亓2 天前
LeetCode热题100--105. 从前序与中序遍历序列构造二叉树--中等
算法·leetcode·职场和发展
测试老哥2 天前
Selenium 使用指南
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
仙俊红2 天前
LeetCode每日一题,20250914
算法·leetcode·职场和发展
Aspiresky3 天前
浅析Linux进程信号处理机制:基本原理及应用
linux·运维·信号处理
睡不醒的kun3 天前
leetcode算法刷题的第三十四天
数据结构·c++·算法·leetcode·职场和发展·贪心算法·动态规划
吃着火锅x唱着歌3 天前
LeetCode 1446.连续字符
算法·leetcode·职场和发展
武子康4 天前
AI-调查研究-76-具身智能 当机器人走进生活:具身智能对就业与社会结构的深远影响
人工智能·程序人生·ai·职场和发展·机器人·生活·具身智能
Nan_Shu_6144 天前
Web前端面试题(1)
前端·面试·职场和发展
YuTaoShao4 天前
【LeetCode 每日一题】3000. 对角线最长的矩形的面积
算法·leetcode·职场和发展
007php0074 天前
Redis高级面试题解析:深入理解Redis的工作原理与优化策略
java·开发语言·redis·nginx·缓存·面试·职场和发展