神经网络常见层速查表
本文总结了深度学习中常见的"层 (Layer)"，包括简称、全称、使用场景和作用，便于快速学习。
🔹 1. 全连接层 (Fully Connected Layer)
- 简称：FC / Dense / Linear
- 全称：Fully Connected Layer
- PyTorch ：
nn.Linear(in_features, out_features) - 使用场景：通用任务（分类、回归、MLP）
- 作用：输入和输出的每个节点都相连，适合通用函数拟合。
🔹 2. 卷积层 (Convolutional Layer)
- 简称：Conv
- 全称：Convolutional Layer
- PyTorch ：
nn.Conv1d,nn.Conv2d,nn.Conv3d - 使用场景：图像、视频、语音
- 作用：用卷积核提取局部特征，权重共享，参数量少。
🔹 3. 池化层 (Pooling Layer)
- 简称：Pooling
- 全称：Pooling Layer
- PyTorch ：
nn.MaxPool2d,nn.AvgPool2d - 使用场景：CNN 中常见
- 作用：缩小特征图尺寸，保留主要特征，降低计算量。
🔹 4. 循环层 (Recurrent Layer)
- 简称：RNN 系列
- 全称：Recurrent Neural Network Layer
- PyTorch ：
nn.RNN,nn.LSTM,nn.GRU - 使用场景：文本、语音、时间序列预测
- 作用 ：处理序列数据，记忆历史信息。
- RNN: 基础循环网络
- LSTM: Long Short-Term Memory，解决长依赖问题
- GRU: Gated Recurrent Unit，简化版 LSTM
🔹 5. 归一化层 (Normalization Layer)
- 简称：BN / LN / IN
- 全称：Batch Normalization / Layer Normalization / Instance Normalization
- PyTorch ：
nn.BatchNorm1d,nn.LayerNorm,nn.InstanceNorm2d - 使用场景：各种深度学习模型
- 作用：稳定训练，加快收敛。
🔹 6. 正则化层 (Regularization Layer)
- 简称：Dropout
- 全称：Dropout Layer
- PyTorch ：
nn.Dropout(p=0.5) - 使用场景：防止过拟合
- 作用：训练时随机"丢弃"部分神经元连接。
🔹 7. 注意力层 (Attention Layer)
- 简称：Attention
- 全称：Attention Layer / Multi-Head Attention
- PyTorch ：
nn.MultiheadAttention - 使用场景：NLP，Transformer，LLM
- 作用：让模型选择性关注输入的重要部分。
🔹 8. 嵌入层 (Embedding Layer)
- 简称：Embedding
- 全称：Embedding Layer
- PyTorch ：
nn.Embedding(num_embeddings, embedding_dim) - 使用场景：自然语言处理（词向量表示）
- 作用：将离散的类别（如单词 ID）映射为稠密向量。
🔹 9. 上采样层 (Upsampling Layer)
- 简称：Deconv / Transposed Conv
- 全称：Upsampling Layer / Deconvolution Layer
- PyTorch ：
nn.ConvTranspose2d,nn.Upsample - 使用场景：生成模型（GAN）、图像分割 (U-Net)
- 作用：扩大特征图尺寸，重建细节信息。
📌 总结
| 类别 | 简称 | 全称 | 使用场景 | 作用 |
|---|---|---|---|---|
| 全连接层 | FC | Fully Connected Layer | 分类、回归 | 输入输出全连接 |
| 卷积层 | Conv | Convolutional Layer | 图像、语音 | 提取局部特征 |
| 池化层 | Pooling | Pooling Layer | CNN | 降维、提取主要特征 |
| 循环层 | RNN/LSTM/GRU | Recurrent Neural Network Layer | 序列数据 | 记忆历史信息 |
| 归一化层 | BN/LN/IN | Batch/Layer/Instance Norm | 通用 | 稳定训练 |
| 正则化层 | Dropout | Dropout Layer | 防过拟合 | 随机丢弃连接 |
| 注意力层 | Attention | Attention Layer | NLP/Transformer | 选择性关注 |
| 嵌入层 | Embedding | Embedding Layer | NLP | 类别转稠密向量 |
| 上采样层 | Deconv | Deconvolution Layer | GAN/U-Net | 放大特征图 |
✍️ 一句话记忆：
全连接最通用，卷积看图像，循环管时间，归一化保稳定，Dropout 防过拟合，注意力会聚焦，嵌入层懂语义，上采样能重建。