LoRA基础 - 技术栈

它最初由Hu等人在2021年提出，原本用于解决大模型全参数微调算力成本高、易灾难性遗忘、多任务切换困难的问题，现在已经成为联邦大模型微调、端侧微调、轻量化定制的核心技术底座。

对于预训练模型的任意一个权重矩阵 ( W \in \mathbb{R}^{d \times k} )（例如Transformer注意力层的Q/K/V投影矩阵）：

全参数微调：直接更新整个权重矩阵，得到 ( W + \Delta W )，其中 ( \Delta W ) 和 ( W ) 维度相同，参数量巨大。
LoRA微调：冻结原始权重 ( W ) ，假设权重更新量 ( \Delta W ) 满足低秩约束，将其分解为两个小矩阵的乘积： \\Delta W = B \\cdot A 其中：
- ( A \in \mathbb{R}^{r \times k} )：低秩输入矩阵，一般用高斯随机初始化；
- ( B \in \mathbb{R}^{d \times r} )：低秩输出矩阵，初始化为全0，保证训练初始时 ( \Delta W=0 )，完全继承预训练模型的能力；
- ( r ) 称为秩（rank），是LoRA最核心的超参数，满足 ( r \ll \min(d,k) )，通常取 4、8、16、32。

训练过程中，只优化 ( A ) 和 ( B ) 的参数；推理时，将低秩矩阵乘回原权重即可： $W' = W + BA$ 最终输出和全参数微调的模型维度完全一致，没有任何额外推理延迟。

缩放因子：实际实现中通常引入缩放系数 ( \alpha )，即 ( \Delta W = \frac{\alpha}{r} \cdot BA )，( \alpha ) 一般设为 ( r ) 的2倍，用于控制更新幅度，减少超参数调优成本。
作用位置：通常只加在Transformer的自注意力线性层（Q、K、V、输出投影），也可扩展到MLP层；作用层越多，拟合能力越强，参数量也相应增加。

以7B模型为例，全参数微调需要更新约70亿参数；而LoRA若取r=8、仅作用于注意力层，仅需训练约0.1%的参数，参数量下降三个数量级，显存占用降低10倍以上。

训练完成后，可将 ( BA ) 直接合并进原始权重矩阵，推理时和原生模型计算速度、显存占用完全一致，没有任何额外计算成本------这是它相比前缀微调、提示微调等其他PEFT技术的最大优势，也是工业界首选的核心原因。

冻结模型主干，仅在低秩空间学习领域知识，大幅降低了小数据集上的过拟合风险和灾难性遗忘问题，在小样本、垂直领域微调上效果显著。

不同任务可以训练独立的LoRA适配器，切换任务时只需替换A、B矩阵，无需修改整个模型；也可以同时加载多个LoRA实现多任务融合。

因为参数量极小，客户端与服务器之间的通信成本相比全参数微调降低99%以上，端侧设备也能完成训练，这也是「联邦LoRA」成为联邦大模型主流路线的根本原因。

低秩假设的边界：当目标任务与预训练语料差异极大时，低秩更新可能不足以拟合完整的知识偏移，性能弱于全参数微调。
聚合的数学偏差：联邦场景下，直接对各客户端的A、B矩阵分别做平均，不等于对完整权重更新的平均，即： $\\sum_i B_i A_i \\neq (\\sum_i B_i)(\\sum_i A_i)$ 简单分别聚合会带来精度损失，这也是异构联邦LoRA的核心研究问题之一。
隐私泄露风险：LoRA参数（尤其是和输入直接交互的A矩阵）仍然携带训练数据信息，攻击者可通过梯度反演、参数推断等攻击还原本地私有数据------这正是你研究的「安全聚合」要解决的核心问题。
异构适配难：不同端侧设备算力不同，能承载的LoRA秩不同；异构秩的LoRA直接聚合会进一步放大精度损失。

变体	核心改进	典型应用场景
QLoRA	将基础模型量化到4bit，配合分页优化器，进一步降低显存门槛	大模型单机微调、端侧微调
LoRA+	给A、B矩阵设置不同学习率，优化训练策略	提升微调效果与收敛速度
AdaLoRA	自适应分配不同层的秩，重要层分配更高秩	更精细的参数效率优化
FedLoRA	经典联邦LoRA框架，基于FedAvg聚合A、B	基础联邦微调场景
Flex-LoRA	基于SVD重参数化，实现异构秩LoRA的精确聚合	异构设备联邦微调
SHE-LoRA	引入选择性同态加密，实现异构LoRA的安全聚合	隐私敏感的联邦微调场景