多卡训练

yuanlulu4 个月前
lora·llm·transformer·分布式训练·大语言模型·huggingface·多卡训练
llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。 我的环境下是8张910B1卡。显存约512GB。