很多人刚接触神经网络的时候,卷积层、池化层都还算直观,唯独全连接层会让人困惑了一阵子------它到底在干什么?为什么每个网络最后都要接几层全连接?参数那么多为什么还要用它?
本文章试着把全连接层讲清楚,从直觉到公式到代码,看完应该就不会再迷糊了。
一、全连接层到底在干什么
一句话:全连接层是一个"特征汇总器",它把前面所有层提取出来的特征综合起来,输出最终的判断结果。
前面的层(比如卷积层)负责提取局部特征------边缘、纹理、形状碎片。全连接层把这些碎片全部收过来,通过加权求和的方式,算出一个最终结论。

二、为什么叫"全"连接
因为这一层的每个神经元,都和上一层的所有神经元相连。没有遗漏,没有跳过。
假设上一层有 m 个神经元,当前层有 n 个神经元,那么连接数就是 m×n ,每个连接对应一个可学习的权重。
三、数学表达
全连接层的计算就是一个矩阵乘法加偏置:
其中:
:上一层的输出(输入特征向量)
- W∈Rn×m :权重矩阵
- b∈Rn :偏置向量
:当前层的输出
训练过程就是不断调整 W 和 b ,使得最终输出尽可能接近真实标签。
四、代码示例(PyTorch)
python
import torch
import torch.nn as nn
# 定义一个全连接层:输入维度 512,输出维度 10
fc = nn.Linear(in_features=512, out_features=10)
# 查看参数量
print(f"权重矩阵形状: {fc.weight.shape}") # torch.Size([10, 512])
print(f"偏置向量形状: {fc.bias.shape}") # torch.Size([10])
print(f"总参数量: {512*10 + 10}") # 5130
# 前向传播
x = torch.randn(32, 512) # batch_size=32, 特征维度=512
y = fc(x) # 输出形状: [32, 10]
print(f"输出形状: {y.shape}")
输出:
权重矩阵形状: torch.Size([10, 512])
偏置向量形状: torch.Size([10])
总参数量: 5130
输出形状: torch.Size([32, 10])
可以看到,nn.Linear 内部做的就是 y=Wx+b 这一步。
五、一个完整的例子
用一个简单的分类网络来感受全连接层在整体结构中的位置:
python
class SimpleClassifier(nn.Module):
def __init__(self):
super().__init__()
# 特征提取部分(卷积层)
self.features = nn.Sequential(
nn.Conv2d(3, 32, kernel_size=3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2),
nn.Conv2d(32, 64, kernel_size=3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2),
)
# 全连接层:把特征"汇总"成分类结果
self.classifier = nn.Sequential(
nn.Linear(64 * 8 * 8, 256), # 第一层全连接
nn.ReLU(),
nn.Linear(256, 10), # 第二层全连接,输出10个类别
)
def forward(self, x):
x = self.features(x)
x = x.view(x.size(0), -1) # 展平:[batch, 64, 8, 8] -> [batch, 4096]
x = self.classifier(x)
return x
model = SimpleClassifier()
print(model)
注意 x.view(x.size(0), -1) 这一步:卷积层输出的是三维张量(通道×高×宽),全连接层需要的是一维向量,所以要先展平(flatten)。这是全连接层和卷积层衔接时最容易出错的地方。
六、全连接层的问题
|--------|-----------------------|
| 问题 | 原因 |
| 参数量大 | 输入维度 × 输出维度,很容易上百万 |
| 容易过拟合 | 参数多 → 模型容量大 → 容易记住训练集 |
| 破坏空间信息 | 展平操作丢失了特征的空间位置关系 |
实际工程中的应对方式:
- 用 Dropout 缓解过拟合
- 用 全局平均池化(GAP) 替代最后几层全连接,大幅减少参数
- 在 Transformer 架构中,用注意力机制替代全连接的特征聚合方式
七、总结
| 要点 | 说明 |
|---|---|
| 本质 | 加权求和:y=Wx+b |
| 作用 | 把前面提取的所有特征综合起来,输出最终结果 |
| "全连接"的含义 | 当前层每个神经元与上一层所有神经元相连 |
| PyTorch 对应 | nn.Linear(in_features, out_features) |
| 主要缺点 | 参数量大,容易过拟合 |
全连接层不是什么神秘的东西,就是一个矩阵乘法。理解了这一点,后面看任何网络结构都不会慌。
