ModelScope ms-swift：轻量级模型微调框架
介绍
ModelScope ms-swift是ModelScope社区提供的一个官方框架，用于大型语言模型（LLMs）和多模态大型模型（MLLMs）的微调和部署。该框架支持预训练、微调、人类对齐、推理、评估、量化和部署等多个环节。
支持的模型
ms-swift支持超过400个LLMs和150个MLLMs，包括Qwen2.5、Llama3.3、GLM4、Internlm2.5、Yi1.5、Mistral、DeepSeek2.5、Baichuan2等LLMs，以及Qwen2-VL、Qwen2-Audio、Llama3.2-Vision、Llava、InternVL2.5、MiniCPM-V-2.6等MLLMs。
支持的技术
ms-swift集成了最新的训练技术，包括LoRA、QLoRA、Llama-Pro、LongLoRA、GaLore、Q-GaLore、LoRA+、LISA、DoRA、FourierFt、ReFT、UnSloth和Liger等。此外，ms-swift还支持推理、评估和部署模块的加速，以及大模型和多模态大模型的量化。
使用方法
ms-swift提供了一个基于Gradio的Web-UI界面，帮助研究人员和开发者更方便地微调和应用大模型。用户可以通过PEFT接口来微调ModelScope模型，享受PEFT的熟悉界面。
为什么选择ms-swift？
ms-swift提供了从训练到部署的全面解决方案，支持多种预训练、微调、人类对齐、多模态数据集，以及自定义数据集。它不仅支持LLMs，还支持多模态模型，为用户提供了灵活的选择。
结论
ModelScope ms-swift是一个强大的工具，能够帮助用户轻松地微调和部署大型语言模型和多模态大型模型。无论是研究人员还是开发者，ms-swift都能为您提供强大的支持。