LLM - 卷积神经网络(CNN)

1. 卷积神经网络结构：分为输入层，卷积层，池化层，全连接层；

（1）首先进入输入层，对数据数据进行处理，将输入数据向量化处理，最终形成输入矩阵。

（2）接着进入卷积层，根据不同卷积核来对输入数据进行卷积操作，得到特征向量。

（3）然后进入池化层，对特征向量进一步提取，一般是提取局部最大值（max pooling）或局部均值（average pooling）

（4）最后进入全连接层，对前述特征向量进行处理，得到输出值。

2. 卷积神经网络在NLP上的例子：

（1）X表示输入数据，是一个矩阵，即由多个词向量组成的一个矩阵，如下图。

（2）卷积操作，有一个卷积核(m*m大小的)，在输入矩阵进行滑动，每次计算一个卷积结果（结果是标量，即一个特征值），如下图所示，当在卷积窗口滑动完成时，会得到一个特征向量。

（3）池化操作

（4）全连接层线性变换

3. CNN应用场景及相关论文

4. CNN优点

（1）擅长提取局部特征。

（2）CNN共享模型参数（卷积核）

（3）CNN可以并行化计算