【ms-swift 大模型微调实战】

安装环境

下载模型

  • modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct

微调

  • 实验环境:4 * A100# 显存占用:4 * 70GB

    复制代码
      NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft \
          --model_type qwen2_5-72b-instruct \
          --model_id_or_path Qwen2.5-72B-Instruct \
          --dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \
          --logging_steps 5 \
          --learning_rate 1e-4 \
          --output_dir output \ 
          --lora_target_modules ALL \
          --model_name 小黄 'Xiao Huang' \
          --model_author 魔搭 ModelScope \
          --deepspeed default-zero3
  • 单卡A10/3090可运行的例子 (Qwen2.5-7B-Instruct)# 显存占用:24GB

    复制代码
    	CUDA_VISIBLE_DEVICES=0 swift sft \
      --model_type qwen2_5-7b-instruct \
      --model_id_or_path Qwen2.5-7B-Instruct \
      --dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \
      --logging_steps 5 \
      --max_length 2048 \
      --learning_rate 1e-4 \
      --output_dir output \
      --lora_target_modules ALL \
      --model_name 小黄 'Xiao Huang' \
      --model_author 魔搭 ModelScope

融合lora

复制代码
CUDA_VISIBLE_DEVICES=0,1 swift export \    
        --ckpt_dir output/qwen2_5-72b-instruct/vx-xxx/checkpoint-xxx \    
        --merge_lora true

vLLM部署

vllm serve xxxxx-checkpoint-merged [opentional args]

参考

相关推荐
GRITJW5 天前
InstructGPT 论文略读:三步走,让大模型真正听懂人话
大模型微调
段智华9 天前
“AI+“行动下的可控智能体:GPT-5 与 GPT-OSS 高性能推理 安全可控 产业落地 GPT-OSS 一可控AI目前全球唯一开源解决方案
强化学习·大模型微调
GRITJW12 天前
大模型参数高效微调技术
大模型微调
大数据AI人工智能培训专家培训讲师叶梓1 个月前
腾讯混元开源视频拟音模型,破解 AI 视频 “无声” 难题
人工智能·音视频·多模态·大模型微调·人工智能讲师·人工智能培训·微调大模型
修一呀2 个月前
[大模型微调]基于llama_factory用 LoRA 高效微调 Qwen3 医疗大模型:从原理到实现
人工智能·llama·大模型微调
段智华3 个月前
微调大语言模型(LLM)有多难?
peft·大模型微调
段智华3 个月前
# 微调需要准备哪些环境配置?
大模型微调·deepseek
汀、人工智能3 个月前
AI-Compass宝藏资源库:构建最全面的AI学习与实践生态,服务AI全群体
rlhf·大模型微调·大模型部署·大模型量化技术
为啥全要学5 个月前
LLaMA-Factory 微调 Qwen2-7B-Instruct
llama·大模型微调·llamafactory