预训练:通过海量的输入得到输出,然后计算loss值,不断调整参数的过程。
特点:材料的量大。
微调:(监督微调SFT)投入特定的文本进行训练。
用小矩阵乘法,去适配大矩阵参数的一个过程
什么是LoRA 大模型微调是怎么回事_哔哩哔哩_bilibili