finetune

【Finetune】（一）、transformers之BitFit微调参数微调方法是仅对模型的一小部分的参数（这一小部分可能是模型自身的，也可能是外部引入的）进行训练，便可以为模型带来显著的性能变化，在一些场景下甚至不输于全量微调。由于训练一小部分参数，极大程度降低了训练大模型的算力需求，不需要多机多卡，单卡就可以完成对一些大模型的训练。不仅如此，少量的训练参数，对存储的要求同样降低很多，大多数的参数微调方法只需要保存训练部分的参数，与动辄几十GB的原始大模型相比，几乎可以忽略。

@会飞的毛毛虫

Stable Diffusion 系列教程 - 6 Dreambooth及训练Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也加进去吧？这时就需要我们能自己个性化调整一下原始的基础大模型。我们日常所用的底模的参数量是巨大的，自己训练是完全不可能的（训练整个Stable-Diffusion-1.4大概要15万GPU小时）。Dreambooth是谷歌的一种微调模型的方案。LORA是

Espresso Macchiato

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models这篇文章是微软在21年的一篇文章，不过我了解得比较晚，最近才发现有这个工作，就匆匆地扫了眼里面的内容。

吴恩达ChatGPT《Finetuning Large Language Models》笔记课程地址：https://learn.deeplearning.ai/finetuning-large-language-models/lesson/1/introduction