202405 arxiv
1 主要思想
LORA相比于全参数训练,学的少,但忘的也少
![](https://i-blog.csdnimg.cn/direct/5ad8efe0db444a8f8966dfbc618ec65f.png)
2 实验分析
2.1 训练的表现
![](https://i-blog.csdnimg.cn/direct/7e2b9253b3ae4dd79c1b7839e89bf444.png)
- 在编程和数学任务中,LoRA相比全参数微调表现出明显的劣势
2.2 遗忘的表现
- 这边的遗忘,是指在数据集A上预训练,然后在数据集B上继续finetune,看在数据集A上的表现
- 相比全参数微调,LoRA学会的东西较少,但遗忘也相对更少
![](https://i-blog.csdnimg.cn/direct/dbcbe1272e974ea1ab5b4f37fd67eee3.png)
3 论文的分析:Lora的正则化特性
![](https://i-blog.csdnimg.cn/direct/d99b475d7ca449d7a48df0cc352083b9.png)
- LoRA提供了比经典正则化技术,如权重衰减和dropout,更强的正则化效果。
- 在下游任务上LoRA的表现低于大多数正则化方法(左图);在遗忘上LoRA优于所有正则化方法(右图)