1.BatchNorm2d
加速收敛: Batch Normalization 可以使每层的输入保持较稳定的分布(接近标准正态分布),减少梯度更新时的震荡问题,从而加快模型训练速度。
减轻过拟合: 批归一化引入了轻微的正则化效果,因为它依赖于 mini-batch 中的统计信息,这种方式可以减少对单个样本的过度拟合。
**提高模型性能:**在训练过程中,Batch Normalization 通过动态调整激活值的分布,让模型更容易适应数据,减少了对权重初始化的敏感性。
2. SELayer 是一种 通道注意力机制
旨在让模型学会"关注哪些通道重要",从而获得更高的性能。
通常在卷积神经网络(CNN)中使用,增强特征表达能力。
例如,一张图片经过卷积后,每个通道可能代表某些特定的特征(比如颜色、边缘等),SELayer 会告诉网络"哪些通道更重要"。
3.卷积核和输出通道数的关系
在 2D 卷积 (nn.Conv2d) 中:输入通道数 (in_channels) 决定每个卷积核的深度。
输出通道数 (out_channels) 决定有多少个卷积核(即生成多少个输出通道)。
每个卷积核都会与所有输入通道进行卷积计算,然后汇总(例如通过加权求和的方式)生成一个对应的 输出通道。
4.激活函数: