[动手学习深度学习]26. 网络中的网络 NiN

前面的LeNet、AlexNet、VGG在设计上的共同之处在于:先以卷积层构成的模块充分抽取空间特征,再以全连接层构成的模块来输出分类结果

其中AlexNet和VGG对LeNet的改进主要在于如何对这两个模块价款(增加通道数)和加深

这一节的NiN提出另一个思路:串联多个由卷积层和"全连接"层构成的小网络来构建一个深层网络

(NiN现在用的不多,但是这里提出的思路用的很多)

全连接层的问题

前面几个网络都在最后用了比较大的全连接层,最后再通过一个全连接层进行输出

但是全连接层非常占用空间,网络的所有参数基本都在全连接层

  • 但是最大的问题是,他会带来过拟合

    假如用卷积层,参数个数=输入通道数*输出通道数*窗口的高*窗口的宽

    若用全连接层,参数个数=输入的所有像素*输出的所有像素*窗口的高*窗口的宽

    如上面LeNet:120是输出的隐藏层的大小,16是最后一个卷积层的输出通道数,5是压缩的大小

NiN块

  • 1个卷积层后跟2个全连接层(11的卷积层等价于是全连接层)
    步幅1,无填充,输出形状和卷积层输出一样,也不会改变通道数

    这里两个1
    1的卷积层,其实是当作全连接层用的,他唯一的作用是对每个通道进行混合

NiN架构

  • 无全连接层

  • 交替使用NiN块和步幅为2的最大池化层

    • 逐步减小高宽和增大通道数
  • 最后使用全局平均池化层得到输出

    • 全局平均池化层:池化层的高宽=输入的高宽 -> 取每一个通道的最大值
    • 输入通道数是类别数

    (如:若在最后的全局池化层输入的通道是1000的话,对每一个通道拿出一个值,把这个值当作这个类别的预测,再加上softmax就是类别的概率了)

所以最后也不需要使用全连接层->这是一个非常极端的设计

总结

  • NiN块使用卷积层+2个11卷积层
    1
    1的卷积层充当全连接层,对每个像素增加了非线性
  • NiN使用全局平均池化层来代替VGG和AlexNet中的全连接层
    • 不容易过拟合,更少的参数个数

所以NiN相对于前面结构比较简单,参数个数非常少(因为没有全连接层)

相关推荐
神经星星1 小时前
AI 论文周报 | Chai-2刷新抗体设计效率,命中率提高100倍;多篇ICML入围论文一键速览
人工智能·深度学习·机器学习
匀泪1 小时前
HCIP(综合实验)
网络
是阿建吖!2 小时前
【Linux | 网络】socket编程 - 使用UDP实现服务端向客户端提供简单的服务
linux·网络·udp
慕y2742 小时前
Java学习第二十四部分——JavaServer Faces (JSF)
java·开发语言·学习
WZF-Sang2 小时前
计算机网络基础——1
网络·c++·git·学习·计算机网络·智能路由器
昵称是6硬币2 小时前
(DETR)End-to-End Object Detection with Transformers论文精读(逐段解析)
人工智能·深度学习·目标检测·计算机视觉·transformer
楼田莉子3 小时前
数据学习之队列
c语言·开发语言·数据结构·学习·算法
hcvinh3 小时前
CANDENCE 17.4 进行元器件缓存更新
学习·缓存
每次的天空4 小时前
Android-重学kotlin(协程源码第二阶段)新学习总结
android·学习·kotlin
优乐美香芋味好喝4 小时前
2025年7月8日学习笔记——模式识别与机器学习绪论
笔记·学习·机器学习