【动手学深度学习】7.3 网络中的网络(NiN)(个人向笔记)

  • LeNet,AlexNet和VGG都有一个共同的设计模型:通过一系列卷积层和汇聚层来提取空间结构特征,然后通过全连接层对特征的表征进行处理
  • AlexNet和VGG对LeNet的改进主要是在于如何扩大和加深这两个模块
  • 网络中的网络(NIN)提出了:在每个像素的通道上分别使用MLP

1. NiN块

  • 卷积层的输入由四维张量组成:样本,通道,高度和宽度
  • 全连接层的输入和输出分别对应于样本和特征的二维张量。NiN的想法时在每个像素位置(针对每个高度和宽度)应用一个全连接层,如果我们将权重连接到每个空间位置,可以将其视为 1 × 1 1\times1 1×1 的卷积层,或者说是作为每个像素位置上独立作用的全连接层
  • 从另一个角度看,即将空间维度中每个像素视为单个样本,将通道视为不同特征
  • 下图说明了VGG和NiN它们块之间的主要差异。NiN块以一个普通的卷积层开始,后面是两个 1 × 1 1\times1 1×1的卷积层。这两个 1 × 1 1\times1 1×1 充当带有ReLU激活函数的逐像素全连接层。第一层卷积窗口形状由用户设置,随后的卷积窗口形状固定为 1 × 1 1\times1 1×1


2. NiN模型

  • 最初的 NiN 网络是在 AlexNet 后不久提出的,显然它从 AlexNet 中得到了一些启示
  • NiN使用窗口形状为 11 × 11 11\times11 11×11、 5 × 5 5\times5 5×5 和 3 × 3 3\times3 3×3 的卷积层,输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层,汇聚窗口形状为 3 × 3 3\times3 3×3,步幅为2
  • NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反,NiN使用一个NiN块,其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层(global average pooling layer),生成一个对数几率 (logits)。NiN设计的一个优点是,它显著减少了模型所需参数的数量。然而,在实践中,这种设计有时会增加训练模型的时间

3. 训练模型

相关推荐
能不能别报错20 分钟前
K8s学习笔记(二):Pod
笔记·学习·kubernetes
ACEEE12221 小时前
Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现
人工智能·pytorch·python·深度学习·机器学习·nlp·transformer
呱呱巨基1 小时前
C/C++ 内存管理
c++·笔记·学习
半桔1 小时前
【网络编程】TCP 服务器并发编程:多进程、线程池与守护进程实践
linux·服务器·网络·c++·tcp/ip
2501_926227941 小时前
UDP网络编程:【Java】无连接通信到Socket实战(二)
java·网络·udp
NG WING YIN1 小时前
Golang關於信件的
开发语言·深度学习·golang
jingling5552 小时前
uniapp | 快速上手ThorUI组件
前端·笔记·前端框架·uni-app
沈艺强2 小时前
l2tp over ipsec lac 和lns 永久连接
网络
ZeroNews内网穿透2 小时前
企业远程访问方案选择:何时选内网穿透,何时需要反向代理?
运维·服务器·网络·python·安全
勤奋的小王同学~2 小时前
(网络编程)网络编程套接字 UDP的socket API 代码解析
网络