swift微调记录

1,模型:

Qwen3-4b-Thinking-2507

2,工具:

ms-swift

3,环境:

魔搭社区增送的免费GPU算力(GPU是 A10 24G显存)

4,过程:

4.1 建一个空白文件夹 ft_demo

4.2 创建一个环境变量,并激活

运行

python 复制代码
python -m venv ft_demo_env

source ./ft_demo_env/bin/activate

4.3 配置国内的镜像源

python 复制代码
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

4.4 安装 ms-swift、vllm、awq三个包

python 复制代码
pip install 'ms-swift[all]' -U

pip install vllm

4.5 启动 web-ui界面

python 复制代码
swift web-ui

web界面的好处,不用记很多参数,适合初学者

点击这个,即可进入相关页面

4.6 选择模型,并设置相关微调参数

4.7 点击开始训练,即可开始训练

4.8 点击展示运行状态

可显示当前训练的情况

4.9 点击找回运行时任务,可以找回正在跑的训练任务

当web界面不小心刷新或者关掉时,可以通过找回训练时任务,找到原来的任务,并继续训练。

5 观察日志

通过观察日志,注意最后的last_model_checkpoint和best_model_checkpoint,一般选用best_model_checkpoint

6 验证训练效果

除了上图中的各种参数的图外,还可以在LLM推理里,实际跑一下

相关推荐
报错小能手13 小时前
ios开发方向——对于实习开发的app(Robopocket)讲解
开发语言·学习·ios·swift
茶底世界之下17 小时前
Harbeth:高性能Metal图像处理库,让你的图片处理速度飞起来!
前端·github·swift
风舞雪凌月18 小时前
【趣谈】移动系统和桌面系统编程语言思考
java·c语言·c++·python·学习·objective-c·swift
UXbot2 天前
AI App 设计生成工具哪个好?
ui·kotlin·软件构建·产品经理·ai编程·swift
黄林晴2 天前
Swift 杀进 Android,Google 和 Apple 都要失眠了?
android·前端·swift
东坡肘子2 天前
一墙之隔,不同的时空 -- 肘子的 Swift 周报 #129
人工智能·swiftui·swift
harder3213 天前
Swift 面向协议编程的 RMP 模式
开发语言·ios·mvc·swift·策略模式
KevinCyao5 天前
iOS短信营销接口示例代码:Swift/Xcode集成营销短信API的完整开发教程
ios·swift
2501_916007476 天前
iOS 开发工具有哪些 按开发流程整理的工具清单
ide·vscode·ios·objective-c·个人开发·swift·敏捷流程