文章目录
Finetune简介
增量预训练和指令跟随
通过指令微调获得instructed LLM
指令跟随微调
一问一答的方式进行
对话模板
计算损失
增量预训练微调
不需要问题只需要回答,都是陈述句。计算损失时和指令微调一样
LoRA QLoRA
不需要太大的显存开销。增加旁路分支Adapter。
比较:
- 全参数微调:整个模型加载到显存中,所有模型的参数优化器也要加载到显存中
- LoRA微调:模型也需要加载到显存中,但是参数优化器只需要LoRA部分
- QLoRA微调:加载模型时就4bit量化加载,参数优化器还可以在CPU和GPU之间调度,显存满了可以在内存里跑
XTuner介绍
快速上手