启智平台调试 qwen3 4b ms-swift

以上设置完成后，我们点击新建任务。等待服务器创建和分配资源。资源分配完成后我们看到如下列表，看到资源running状态，后面有一个调试按钮，后面就可以进入代码调试窗体界面了。

点击任务名称跳转

访问github失败加速器开启

由于启智平台权限控制问题在/tmp/pretrainmodel/ 目录下是只读权限，我们在模型推理的时候需要读写模型文件，所以会到导致报错，所以我们把模型复制到/tmp/code/目录下，避免上述的错误，执行如下命令

复制代码

cp -r  /tmp/pretrainmodel/Qwen3-4B/ /tmp/code/

SFT(Supervised Fine-Tuning) 是

监督微调

infer 推理

报错 ms-swift 版本不对

升级

复制代码

ms-swift

复制代码

pip install 'ms-swift[all]' -U

SWIFT安装 --- swift 3.5.0.dev0 文档

复制代码

问题

复制代码

请介绍一下Qwen3系列模型？

结果被保存到

复制代码

cd result/Qwen3-4B/infer_result/20250508-151330.jsonl

模型微调

10分钟在单卡A100上对qwen3-4b进行自我认知微调

22.sh

复制代码

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model /tmp/code/Qwen3-4B \
    --train_type lora \
    --dataset 'swift/self-cognition#500' \
    --torch_dtype bfloat16 \
    --num_train_epochs 5 \          #训练时间长短
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system '你是清研心启智能小助手' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author zhouhui \
    --model_name 清心Robot

终端执行

复制代码

bash 22.sh

观测显存使用大约最高43% 16G

复制代码

nvidia-smi

整个过程微慢稍等

用时

omnimath

2024-10-10,北京大学联合多个机构和企业创建了Omni-MATH数据集，是一个大型语言模型在奥林匹克数学竞赛级别的数学推理能力进行评估的综合基准

快速开始 --- swift 3.5.0.dev0 文档

复制代码

# 22GB
CUDA_VISIBLE_DEVICES=0 \
swift sft \
   --model /tmp/code/Qwen3-4B \
    --train_type lora \
    --dataset '/tmp/code/Omni-MATH/test.jsonl' \  # 修改为本地路径
    --torch_dtype bfloat16 \
    --num_train_epochs 5 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system '你是清研心启智能小助手.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name 清心-robot

Omni-MATH

小白必看！启智平台轻松搞定 Qwen3 模型推理与训练 - 哔哩哔哩