swift微调记录

1,模型:

Qwen3-4b-Thinking-2507

2,工具:

ms-swift

3,环境:

魔搭社区增送的免费GPU算力(GPU是 A10 24G显存)

4,过程:

4.1 建一个空白文件夹 ft_demo

4.2 创建一个环境变量,并激活

运行

python 复制代码
python -m venv ft_demo_env

source ./ft_demo_env/bin/activate

4.3 配置国内的镜像源

python 复制代码
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

4.4 安装 ms-swift、vllm、awq三个包

python 复制代码
pip install 'ms-swift[all]' -U

pip install vllm

4.5 启动 web-ui界面

python 复制代码
swift web-ui

web界面的好处,不用记很多参数,适合初学者

点击这个,即可进入相关页面

4.6 选择模型,并设置相关微调参数

4.7 点击开始训练,即可开始训练

4.8 点击展示运行状态

可显示当前训练的情况

4.9 点击找回运行时任务,可以找回正在跑的训练任务

当web界面不小心刷新或者关掉时,可以通过找回训练时任务,找到原来的任务,并继续训练。

5 观察日志

通过观察日志,注意最后的last_model_checkpoint和best_model_checkpoint,一般选用best_model_checkpoint

6 验证训练效果

除了上图中的各种参数的图外,还可以在LLM推理里,实际跑一下

相关推荐
TT_Close4 天前
【Flutter×鸿蒙】FVM 不认鸿蒙 SDK?4步手动塞进去
flutter·swift·harmonyos
张江4 天前
Swift Concurrency学习
swift
东坡肘子7 天前
OpenClaw 不错,但我好像没有那么需要 -- 肘子的 Swift 周报 #125
人工智能·swiftui·swift
Swift社区12 天前
LeetCode 391 完美矩形 - Swift 题解
算法·leetcode·swift
升讯威在线客服系统13 天前
从 GC 抖动到稳定低延迟:在升讯威客服系统中实践 Span 与 Memory 的高性能优化
java·javascript·python·算法·性能优化·php·swift
Swift社区13 天前
LeetCode 390 消除游戏 - Swift 题解
leetcode·游戏·swift
东坡肘子14 天前
春晚、机器人、AI 与 LLM -- 肘子的 Swift 周报 #124
人工智能·swiftui·swift
BatmanWayne17 天前
swift-微调补充
人工智能·swift
疯笔码良21 天前
【swiftUI】实现自定义的底部TabBar组件
ios·swiftui·swift
东坡肘子22 天前
祝大家马年新春快乐! -- 肘子的 Swift 周报 #123
人工智能·swiftui·swift