技术栈
msswift
Nicolas893
17 小时前
大模型
·
swift
·
大模型微调
·
lora微调
·
微调框架
·
推理模型微调
·
msswift
【大模型实战】利用ms-swift微调框架对QwQ-32B推理模型进行微调
之前我们在《大模型训练/微调的一些经验分享》、《利用DeepSeek-R1数据微调蒸馏ChatGLM32B让大模型具备思考能力》中做了相关模型微调的介绍。目前在基座大模型能力还没有达到足够牛的情况下，大模型微调在商业化、垂直领域应用依然是不可或缺，即使是使用DeepSeek-R1、QwQ-32B也难以保证商业应用的要求。