机器学习——全连接（MLP多层感知机）的理解

全连接即是矩阵乘，因此在transformer中获取QKV理论上是输入与QKV权重矩阵相乘，但实际操作则是使用全连接即nn.Linear()，注意这里的输入和输出都是二维的[batch,d_model]，即每个样本是一维的。