SWIFT环境配置及大模型微调实践

SWIFT环境配置及大模型微调实践

SWIFT介绍参考: 这里

SWIFT环境配置

基础配置

bash 复制代码
conda create -n swift python=3.8

pip install ms-swift[all] -U

# 下载项目
git clone https://github.com/modelscope/swift

增量配置

如果是运行qwen-audio,需要安装ffmpeg

bash 复制代码
apt-get update
apt-get install ffmpeg

SWIFT Qwen_audio_chat大模型微调实践

也可以参考https://zhuanlan.zhihu.com/p/665300386

微调代码

bash 复制代码
cd swift/examples/pytorch/llm
nohup bash scripts/qwen_audio_chat/lora/sft.sh > qwen_audio_chat_sft_20240320.log &

问题1:

复制代码
   第一次跑,发现使用的是cpu,经过检查,发现pytorch版本对应的cuda版本较高,于是重新安装pytorch。
bash 复制代码
conda install --use-local pytorch-1.13.0-py3.8_cuda11.6_cudnn8.3.2_0.tar.bz2.tar.bz2
复制代码
    但是,在训练的时候会出现问题,如下。

问题2:

cannot import name 'LRScheduler' from 'torch.optim.lr_scheduler

问题定位

这个问题定位了很久,最后确定了是版本兼容问题。

具体的:pytorch 2.0.0以上的版本是LRScheduler,以下的版本是_LRScheduler。

解决方法

卸载掉之前安装的版本,重新手动安装pytorch 2.0.0以上版本。

手动安装pytorch

  1. 从该网址下载对应包:https://download.pytorch.org/whl/torch_stable.html
    (pytorch的版本号,cuda版本号,python版本号都对应好。)
  2. 使用pip手动安装
    pip install some_package.whl
相关推荐
夏天的阳光吖4 分钟前
C++蓝桥杯实训篇(二)
开发语言·c++·蓝桥杯
Trustport30 分钟前
C# EventLog获取Windows日志进行查询设置多个EventLogQuery查询条件
开发语言·c#
鸿蒙布道师31 分钟前
鸿蒙NEXT开发土司工具类(ArkTs)
android·ios·华为·harmonyos·arkts·鸿蒙系统·huawei
前往深圳33 分钟前
数据结构:LinkedList与链表
java·开发语言·学习
敲键盘的小夜猫36 分钟前
Java服务端性能优化:从理论到实践的全面指南
java·开发语言·性能优化
勘察加熊人1 小时前
c#的form实现飞机大战
开发语言·c#
Tadecanlan1 小时前
[C++面试] explicit面试8问 —— 较难,可简单了解即可
开发语言·c++
独好紫罗兰1 小时前
洛谷题单3-P5725 【深基4.习8】求三角形-python-流程图重构
开发语言·python·算法
byte轻骑兵2 小时前
【C++进阶】顺序容器
开发语言·c++
三雷科技2 小时前
Qt的window注册表读写以及删除
开发语言·qt·注册表