技术栈
fsdp
闻道且行之
1 个月前
人工智能
·
语言模型
·
llama
·
qlora
·
fsdp
LLaMA-Factory|微调大语言模型初探索(4)，64G显存微调13b模型
上篇文章记录了使用lora微调deepseek-7b，微调成功，但是微调llama3-8b显存爆炸，这次尝试使用qlora微调HQQ方式量化，微调更大参数体量的大语言模型，记录下来微调过程，仅供参考。 对过程不感兴趣的兄弟们可以直接从第3节开始看。
胖胖大海
1 年前
pytorch
·
dp
·
deepspeed
·
ddp
·
fsdp
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用