一、介绍
在学习矩阵的过程中，会发现矩阵有很多名词和术语。而这些名词和术语后面又跟着许多细节的内容，对于平时几乎用不到的普通的开发者来说，记住这些东西简单是让人头大再头大。不过正如前面所讲，只要从某个角度根据自身的方式去理解了矩阵相关的名词和术语后，就会把它们记得很牢靠。在真正遇到的时候，只要拿起书本来看看就可以干活了。
二、矩阵相似
矩阵相似，其实和实践学习的三角形相似原理上是一致的。想象一下，相似的三角形在不同的维度空间和坐标空间下，它的大小，方向以及角度都有可能不同，但如果统一到标准的坐标空间内，其实就恢复到了初中学习的知识体系下。
所谓矩阵相似是线性代数中描述同阶方阵间等价关系的核心概念，严格定义为：
设 A,BA,BA,B 都是数域 PPP 上的 nnn 阶方阵，若存在数域 PPP 上的 nnn 阶可逆矩阵 PPP，使得：
P−1AP=BP^{-1}AP = BP−1AP=B
则称 AAA 与 BBB 相似，记作 A∼BA \sim BA∼B；对 AAA 进行的运算 P−1APP^{-1}APP−1AP 称为相似变换，可逆矩阵 PPP 称为相似变换矩阵。
可逆矩阵一般记作A~B（和三角形相似长得差不多）。
单纯从定义上看，非常容易陷入为了理解而理解的地步。需要大量的相关的知识来补充。可以换一个角度来看，就如刚刚分析的相似三角形一样。矩阵相似其实就是在不同基（坐标系,这种坐标系可能是非正交的）下同一个线性变换的矩阵表示。
三、分析和说明
把矩阵的变化和传统的数学中的方程组结合起来，特别是按列进行组合会更容易理解这些内容。
一般来说线性方程组的标准矩阵形式是：
对于包含 nnn 个未知数 x1,x2,...,xnx_1, x_2, \dots, x_nx1,x2,...,xn、mmm 个方程的线性方程组：
{a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋮am1x1+am2x2+⋯+amnxn=bm \begin{cases} a_{11}x_1 + a_{12}x_2 + \dots + a_{1n}x_n = b_1 \\ a_{21}x_1 + a_{22}x_2 + \dots + a_{2n}x_n = b_2 \\ \vdots \\ a_{m1}x_1 + a_{m2}x_2 + \dots + a_{mn}x_n = b_m \end{cases} ⎩ ⎨ ⎧a11x1+a12x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2⋮am1x1+am2x2+⋯+amnxn=bm
将其改写为矩阵乘法形式：
各部分定义说明：
- A\boldsymbol{A}A：m×nm \times nm×n 系数矩阵，元素为方程组中对应未知数的系数
- x\boldsymbol{x}x：n×1n \times 1n×1 未知列向量，由所有未知数按顺序排列组成
- b\boldsymbol{b}b：m×1m \times 1m×1 常数列向量，由方程组右侧的常数项排列组成
- Ax\boldsymbol{A}\boldsymbol{x}Ax：严格遵循矩阵乘法规则，运算结果与常数向量完全相等
上面看起来或许还有些复杂，可以假设有两个坐标系，一个是正交的，一个是任意的。那么同一个向量如何在两个坐标系中描述呢？假设在正交坐标系下向量为v1,在任意坐标系下为v2。那么可以用方程转换即v2 = func(v1)。而方程可以用矩阵P描述，即v2 = Pv1(反过来也一样)。这就很容易理解了，矩阵P是转换矩阵的原因。而要想让v1,v2相等，则可以利用P的可逆矩阵来乘，这就前面的矩阵相似的公式了。它也可以表示为：PB = AP（两个定义是相同的）。
这个很好理解，大家将一个向量在不同的坐标系下的坐标描述出来即可，比如将一个平面直角坐标旋转45度，那么其对相同向量的横纵坐标描述一定是不同的。换句话说，为了说明这种情况，相似关系才会被提出。
发现相似矩阵的意义在于找到一组更适合描述矩阵线性变换的基。矩阵的内容可以不同，但矩阵表示的线性变换本身不会改变。
对于相似性有以下几个特点：
- 相似矩阵具有相同的特征多项式
- 相似矩阵具有相同的特征值
- 相似矩阵具有相同的迹和行列式
- 相似矩阵具有相同的秩结构
- 相似矩阵具有相同的最小多项式
但是需要注意的是，有些条件不是充分的。如相同特征值不一定相似。这一点要一定明白。
四、大模型中的应用
矩阵和大模型的应用是离不开的。海量数据的组织和表示怎么可能会离开矩阵？相似矩阵在大模型中的应用也相当多，其主要的作用包括：
- RNN和状态空间模型中的状态换基
隐藏状态的具体坐标并不是唯一的；不同参数可能只是使用了不同的内部状态基底 - Transformer中等价内部坐标转换
在没有额外约束的情况下，注意力内部的特征坐标存在可逆变换自由度。多个参数组合可以实现同样的输入输出函数 - 多层感知机中的权重重参数化（weight reparameterization/weight parametrization）
对于连续的线性层，可以在相邻层间插入可逆矩阵用来进行相关的数据映射，它可以保证整体结果的不变。不过需要注意的是，非线性会限制这种等价性 - 图神经网络中的节点重编号
图神经网络中的"节点置换等变性"可以用矩阵相似和坐标变换解释 - 谱方法、PCA 和特征空间分析
AI中常通过特征值和特征向量分析协方差矩阵、核矩阵、图拉普拉斯矩阵和Hessian矩阵。相似变换告诉我们：如果只是改变坐标系，矩阵的特征值不变 - 低秩近似、压缩和量化中的作用
相似变换本身不降低矩阵的秩，也不会改变特征值。因此它不能单独完成模型压缩。不过，换基可以把重要信息集中到更少的坐标方向，从而帮助后续压缩 - 状态空间模型中的对角化和并行计算
如果状态矩阵A可对角化时，可在长序列模型中进行逐元素计算（并行）；即使无法对角化，也可以借助Jordan形式或 Schur分解。而此时相似化可以提供相关的分析场景 - 模型可解释性中的"坐标自由度"
神经网络的隐藏神经元通常不是唯一的语义坐标。若一个隐藏空间允许可逆换基，那么单个神经元、单个通道或某个权重元素的含义可能依赖于所选坐标系是。这也是表示学习中Procrustes对齐、正交对齐和子空间分析有意义
矩阵相似并不像其它技术一样有什么框架或接口，它只是一个手段和机制出现的。可以将其作为一种数学工具，对神经网络中的矩阵道法、状态递推或线性传播等进行处理。它可以很好的帮助开发者理解模型的等价表示、稳定性和压缩以及可解释性等内容。
五、总结
学习矩阵的相似，重点在于理解其核心是对同一个线性变换的不同矩阵的表示。一定要明白，相似性指的是线性变化这个行为。这样就能够更好的理解矩阵的表示是不同坐标系下的同一个线性变换。矩阵的内容可以不同，但线性变换的内在结构不能改变。这就非常有利于开发者在不同的数据表示过程中发现同一个线性变换的结果，从而找到关键之处。