线性变换

迷路爸爸180

PyTorch中的线性变换：nn.Parameter VS nn.Linearself.weight = nn.Parameter(torch.randn(in_channels, out_channels)) 和 self.linear = nn.Linear(in_channels, out_channels) 并不完全一致，尽管它们都可以用于实现线性变换（即全连接层），但它们的使用方式和内部实现有所不同。

深度学习blog-深刻理解线性变换和矩阵深度学习中避免不了矩阵运算，或者张量（其实是矩阵数组）运算。卷积是矩阵加、乘法，注意力也是一样。本质都一样，所谓注意力，卷积、滤波，是对不必了解数学的人说的，底层都是矩阵运算，线性变换。

第六章，线性变换，1-线性变换、表示矩阵、线性算子一个将向量空间V映射到向量空间W的映射L，如果对所有的 v 1 , v 2 ∈ V v_1,v_2\in V v1,v2∈V及所有的标量 α \alpha α和 β \beta β，有 L ( α v 1 + β v 2 ) = α L ( v 1 ) + β L ( v 2 ) L(\alpha v_1+\beta v_2)=\alpha L(v_1)+\beta L(v_2) L(αv1+βv2)=αL(v1)+βL(v2) 则称L为V到W上的一个线性变换，记为 L : V → W L:V\right