swift微调记录

1,模型:

Qwen3-4b-Thinking-2507

2,工具:

ms-swift

3,环境:

魔搭社区增送的免费GPU算力(GPU是 A10 24G显存)

4,过程:

4.1 建一个空白文件夹 ft_demo

4.2 创建一个环境变量,并激活

运行

python 复制代码
python -m venv ft_demo_env

source ./ft_demo_env/bin/activate

4.3 配置国内的镜像源

python 复制代码
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

4.4 安装 ms-swift、vllm、awq三个包

python 复制代码
pip install 'ms-swift[all]' -U

pip install vllm

4.5 启动 web-ui界面

python 复制代码
swift web-ui

web界面的好处,不用记很多参数,适合初学者

点击这个,即可进入相关页面

4.6 选择模型,并设置相关微调参数

4.7 点击开始训练,即可开始训练

4.8 点击展示运行状态

可显示当前训练的情况

4.9 点击找回运行时任务,可以找回正在跑的训练任务

当web界面不小心刷新或者关掉时,可以通过找回训练时任务,找到原来的任务,并继续训练。

5 观察日志

通过观察日志,注意最后的last_model_checkpoint和best_model_checkpoint,一般选用best_model_checkpoint

6 验证训练效果

除了上图中的各种参数的图外,还可以在LLM推理里,实际跑一下

相关推荐
布莱克6051 天前
Swift 枚举详解:从基础语法到关联值与模式匹配
开发语言·ios·swift·枚举
布莱克6051 天前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
wuxianda10302 天前
苹果 App 上架 4.3(a) 问题解决方案(适用 uniapp、Objective-C、Swift、Flutter 等项目)
uni-app·objective-c·swift
wuxianda10302 天前
Swift 项目用 Xcode 脚手架起步:默认工程结构和依赖组合为什么会被识别成同源
开发语言·xcode·swift·4.3a·appstore审核
布莱克6054 天前
Swift 循环与控制转移详解:从 for-in 到标签跳转
开发语言·ssh·swift·循环
东坡肘子4 天前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
布莱克6055 天前
Swift 字符串详解:从基础用法到性能与最佳实践
服务器·开发语言·ssh·字符串·swift
布莱克6056 天前
Swift 条件语句详解:从 if 到 switch 的完整指南
开发语言·ssh·swift·switch·条件语句·guard·if
布莱克6058 天前
Swift 常量详解:从 let 到编译期优化
服务器·开发语言·ssh·swift·常量·let
布莱克6058 天前
Swift 可选类型(Optionals)详解:从原理到实战
开发语言·安全·ssh·swift·optional·可选类型