卷积神经网络（CNN）中的全连接层（Fully Connected Layer，FC层）是神经网络的一种基本层结构，通常位于CNN的尾部，用于对前面卷积层和池化层提取的特征进行全局分析和决策。
图1 全连接层在卷积神经网络中的位置
一、全连接层的基本结构
全连接层由多个神经元组成，每个神经元都与前一层的所有神经元相连。因此，全连接层的参数数量通常很大，占整个网络参数的主要部分。每个神经元的输出可以表示为前一层神经元输出的加权和，再加上一个偏置项。然后，通过批量归一化和激活函数（如ReLU、Sigmoid等）对加权和进行非线性变换，以得到最终的输出。
图2 全连接层结构
二、全连接层在CNN中的作用
全连接层的主要作用是对前面卷积层或池化层提取到的特征进行整合，并最终输出一个固定大小的向量。这个向量通常用于分类或回归任务的最终决策。通过全连接层的线性变换和激活函数，可以将前面层提取并降维的特征向量转换为一个更加抽象和高级的特征表示。具体的作用为：
1. 特征整合：全连接层可以将前面卷积层和池化层提取的局部特征整合为全局特征，并最终输出一个固定大小的向量。这些全局特征对于分类、回归等任务来说非常重要。如下图中最左边的向量。
图3 全连接层中的部分特征
2. 分类决策：在全连接层（可能是最后一层输出层了）将学到的特征映射到具体的输出类别或值，完成分类、回归等任务。特别的，在分类任务中，全连接层的输出结果通过softmax激活函数映射为各个类别的得分或概率，通过比较不同类别的得分或概率，可以实现分类决策。例如，在手写数字识别任务中，最后一个全连接层（输出层）使用softmax激活函数将特征映射为10个类别（0-9每个数字一个类别）的预测概率。
3. 特征映射：全连接层还可以将高维特征映射到低维空间，以实现特征降维和特征选择。这对于提高模型的泛化能力和减少计算复杂度很有帮助。
全连接层通常在激活函数的作用下，对线性组合的结果进行非线性变换（图3中，形如x=wu+b）。激活函数引入非线性性质，使得神经网络可以拟合更为复杂的非线性模式，提高其表达能力。常用的激活函数包括ReLU、Sigmoid、Tanh等，它们能够引入非线性映射，从而让神经网络可以处理更加复杂的数据分布。
三、全连接层的参数优化
全连接层中的每个连接都对应一个权重参数，由于全连接层的参数数量很大，因此在实际应用中，通常会采用一些方法（如反向传播算法）来优化和学习这些参数。神经网络利用这些参数来拟合训练数据，使得模型能够更好地进行预测和泛化。参数学习是神经网络训练的核心过程 ，通过不断调整全连接层的权重，可以逐渐优化模型的性能，使其能够更准确地拟合训练数据和处理新的未见数据。可见，以减少过拟合和提高模型的性能 将是参数优化的目标，具体方法有：
- 权重衰减（Weight Decay）：通过向损失函数中添加权重衰减项，可以限制全连接层权重的范数，从而防止过拟合。
- Dropout：Dropout是一种正则化方法，通过在训练过程中随机丢弃全连接层的一部分神经元，可以减少神经元之间的共适应关系，提高模型的泛化能力。
- 批量归一化（Batch Normalization） ：批量归一化可以对全连接层的输入进行归一化处理，使其具有零均值和单位方差。这可以加速训练过程，提高模型的收敛速度，并减少过拟合的风险。具体可参考我的其他博文卷积神经网络（CNN）中的批量归一化层（Batch Normalization Layer）-CSDN博客
四、全连接层的替代方案
尽管全连接层在CNN中发挥着重要作用，但近年来，一些替代方案逐渐被提出和应用。
- 全局平均池化（Global Average Pooling，GAP） ：GAP可以替代全连接层进行特征整合和分类决策。它将卷积层的输出在全局范围内进行平均池化，得到每个通道的全局特征，然后直接用于分类。GAP可以减少参数数量，避免过拟合，并提高模型的解释性。具体可参考我的其他博文卷积神经网络（CNN）中的池化层（Pooling Layer）_池化层在哪些神经网络中会用到-CSDN博客
- 1x1卷积：1x1卷积可以看作是一种特殊的全连接层，但它具有更少的参数和更高的计算效率。通过调整1x1卷积的通道数，可以实现特征降维和特征选择。
综上所述，全连接层在卷积神经网络中扮演着重要的角色，用于特征整合、分类决策和特征映射。然而，随着深度学习技术的发展，一些替代方案逐渐被提出和应用，以优化全连接层的性能和减少过拟合的风险。