【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models该论文来自微软团队,LoRA微调现已成为大模型常用的高效微调方法之一。预训练-微调范式是当前使用最广的范式,能够提升模型在下游任务上的表现。但是当模型参数规模变大,全量微调需要消耗大量资源和时间,就变得不太可行。因此出现了许多高效微调(peft, parameter efficient fine-tuning)的方法,例如谷歌团队提出的Adapter Tuning、斯坦福团队提出的Prefix-Tuning、清华团队提出的P-Tuning v2等。但他们各自都有一些缺点: