在 LoRA 论文及其标准实现中，LoRA 矩阵 B 确实被初始化为零矩阵，而矩阵 A 则使用标准的初始化方法（例如 Kaiming 或 Xavier 均匀分布）进行初始化。
LoRA 引入的权重更新 \\Delta W 定义为两个低秩矩阵 A 和 B 的乘积：
\\Delta W = B A
1. 为什么 B 矩阵初始化为零？
将 B 矩阵初始化为零是为了确保在训练开始时，新的 LoRA 模块不会对基座模型（Pre-trained Model）的输出产生任何干扰或改变。
-
如果 B = 0 且 \\Delta W = B A，那么在训练开始的第一个前向传播中：
\\Delta W = 0 \\cdot A = 0
-
这意味着原始的权重矩阵 W 上的更新项 \\Delta W 也是零。模型的输出完全由原始的预训练权重 W 决定，即 W' = W + \\Delta W = W + 0 = W。
-
好处： 这样可以确保训练从一个稳定且收敛良好的预训练状态开始，避免由于随机初始化带来的剧烈、不稳定的梯度波动，从而保护了预训练模型已经学到的知识。
2. 为什么不是 A 初始化为零？
如果 A 矩阵初始化为零，也会得到 \\Delta W = B \\cdot 0 = 0，效果看起来一样。
然而，将 A 初始化为零会带来一个训练过程中的优化问题：
-
梯度消失或不均匀： LoRA 结构是串联的：输入 \\rightarrow A \\rightarrow B \\rightarrow 输出。
-
如果 A 初始为零，则 A 矩阵的输出会是零向量。
-
当进行反向传播计算 B 的梯度时，由于 A 的输出是零，导致 B 的输入梯度也会是零（或非常小），这使得 B 矩阵的参数在训练初期难以被有效更新。
-
虽然 A 矩阵会得到非零的梯度，但整体来看，如果 A 是零，会造成数据流和梯度流在 LoRA 路径上产生瓶颈，使得训练效率低下。
-
总结：
| 矩阵 | 初始化方法 | 目的 |
|---|---|---|
| A 矩阵 | 随机初始化 (例如 Kaiming/Xavier) | 确保 LoRA 路径开始时有有效的、非零的数据流，以便 B 和 A 都能接收到正常的梯度信号，加速训练。 |
| B 矩阵 | 零矩阵 | 确保 \\Delta W = B A = 0，保证训练从预训练模型的原始状态平稳开始，维护模型的稳定性。 |