白话机器学习5:卷积神经网络(CNN)原理

1.神经元

激活函数f(z)的种类:

2.卷积方法种类

https://mp.weixin.qq.com/s/FXzTbMG64jr93Re31Db2EA

  1. 标准卷积(Standard Convolution):

    • 特点:每个卷积核在输入数据的整个深度上滑动,计算输出特征图的一个元素。
    • 应用场景:适用于大多数标准的CNN应用,如图像分类、物体检测等。
    • 数据特征:通用性强,可以应对各种数据类型。
  2. 分组卷积(Grouped Convolution):

    • 特点:将输入和卷积核分成几组,每组独立进行卷积操作,可以减少参数数量和计算量。
    • 应用场景:用于大型网络和复杂任务中减少计算负担,如在ResNeXt架构中使用。
    • 数据特征:当模型参数过多,计算资源有限时使用。
  3. 空洞卷积(Dilated Convolution/Atrous Convolution):

    • 特点:在卷积核的元素之间插入"空洞"以增加感受野,不增加参数数量。
    • 应用场景:适合于需要较大感受野的应用,如语义分割,或者在自然语言处理中用于捕捉长距离依赖。
    • 数据特征:当输入数据需要更大的上下文理解时使用。
  4. 深度可分离卷积(Depthwise Separable Convolution):

    • 特点:分两步进行,首先是深度卷积(每个通道独立卷积),然后是点卷积(1x1卷积来组合深度卷积的输出),这可以显著减少计算量和参数数量。
    • 应用场景:在移动和嵌入式设备上运行的模型中常用,如MobileNets架构。
    • 数据特征:对于计算效率和模型大小有严格限制时使用。
  5. 反卷积(Transposed Convolution/Deconvolution):

    • 特点:通常用于放大特征图(如在某些类型的自动编码器和生成对抗网络中)。
    • 应用场景:在图像超分辨率、语义分割以及生成模型等领域中,需要从低分辨率的特征图中重建出高分辨率的图像或特征图时使用。
    • 数据特征:需要增加特征图空间分辨率的场景。

https://www.jianshu.com/p/4d3ec56e7d05

原本卷积:

"same填充"(Padding):

为了避免原始卷积操作中,数据越来越小:

3.卷积神经网络CNN

(1)卷积层

上述2中各种卷积方法

(2)激活层

上述1中各种激活函数

(3)BN 层(BatchNorm)

将输入值的分布强行拉回到均值为0,方差为1的标准正态分布,加速网络的收敛速度

(4) 化层(pooling)

下采样,对部分特征矩阵选一个特征值或数值,从而进一步变小

常见有:Max Pooling(最大池化)、Average Pooling(平均池化)

(5)F C层(全连接层)

最后再加一层普通神经元(无隐层感知器或一个、多个隐层的感知器)

(6)优化层

为了更高效的优化网络结构(损失函数最小),即是网络的优化策略,主要方法如下:

相关推荐
小欣加油7 小时前
leetcode 面试题01.02判定是否互为字符重排
数据结构·c++·算法·leetcode·职场和发展
岑梓铭11 小时前
考研408《计算机组成原理》复习笔记,第六章(1)——总线概念
笔记·考研·408·计算机组成原理·计组
月阳羊12 小时前
【硬件-笔试面试题-76】硬件/电子工程师,笔试面试题(知识点:H桥驱动电路的设计要点)
java·单片机·嵌入式硬件·面试·职场和发展
岑梓铭13 小时前
计算机网络第四章(4)——网络层《ARP协议》
网络·笔记·tcp/ip·计算机网络·考研·408
QT 小鲜肉14 小时前
【QT随笔】结合应用案例一文完美概括QT中的队列(Queue)
c++·笔记·qt·学习方法·ai编程
pzx_00115 小时前
【LeetCode】14. 最长公共前缀
算法·leetcode·职场和发展
中国胖子风清扬15 小时前
Rust 日志库完全指南:从入门到精通
spring boot·后端·rust·学习方法·logback
极度畅想20 小时前
脑电数据预处理十六:自动化阈值检测原理与实践
信号处理·脑电数据处理·eeg预处理·伪迹去除·脑电预处理·阈值检测·数据剔除