lora微调

【大模型实战】利用ms-swift微调框架对QwQ-32B推理模型进行微调之前我们在《大模型训练/微调的一些经验分享》、《利用DeepSeek-R1数据微调蒸馏ChatGLM32B让大模型具备思考能力》中做了相关模型微调的介绍。目前在基座大模型能力还没有达到足够牛的情况下，大模型微调在商业化、垂直领域应用依然是不可或缺，即使是使用DeepSeek-R1、QwQ-32B也难以保证商业应用的要求。

vivo互联网技术

NLLB 与 ChatGPT 双向优化：探索翻译模型与语言模型在小语种应用的融合策略作者：来自 vivo 互联网算法团队- Huang Minghui本文探讨了 NLLB 翻译模型与 ChatGPT 在小语种应用中的双向优化策略。首先介绍了 NLLB-200 的背景、数据、分词器和模型，以及其与 LLM（Large Language Model）的异同和协同关系。接着列举了实战与应用的案例，包括使用 ChatGPT 生成的样本微调 NLLB-200 和使用 NLLB-200 的翻译结果作为 LLM 的 prompt 等。通过本文的研究和实践，可以为小语种翻译模型和语言模型的融合提供一定的

大语言模型微调框架Unsloth：简化模型微调流程，提升模型性能Unsloth 将 Llama-3、Mistral、Phi-3 和 Gemma 等大型语言模型的微调速度提高了 2 倍，内存使用量减少了 70%，而且准确性不会降低！