swift微调Qwen-7B大模型

环境说明:

CUDA相关环境已搭建完成,不会装CUDA环境可参照我的其它文章;

显卡:4张3090

1、安装swift环境

复制代码
#从源码安装
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[llm]
pip install -e .[eval]

2、下载Qwen2-7B-Instruct模型

复制代码
from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer

model_dir = snapshot_download('qwen/Qwen2-7B-Instruct')

# Loading local checkpoints
# trust_remote_code is still set as True since we still load codes from local dir instead of transformers
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    device_map="auto",
    trust_remote_code=True
).eval()

3、微调

复制代码
CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift sft --model_type qwen2-7b-instruct \
    --model_id_or_path /root/.cache/modelscope/hub/qwen/Qwen2-7B-Instruct \
    --sft_type lora \
    --dtype AUTO \
    --dataset AI-ModelScope/alpaca-gpt4-data-zh#200 \
    --self_cognition_sample 3000 \
    --model_name 阿盛 Master \
    --model_author 盛世芳华 LLM_ROME \
    --num_train_epochs 1 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.1 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --output_dir output

--model_id_or_path:指定模型路径

--dataset:指定魔搭的数据集ID,我用的是AI-ModelScope/alpaca-gpt4-data-zh数据集

--self_cognition_sample:开启自我认知微调,开启后自动使用魔搭的swift/self-cognition数据集(自我认知微调数据集 · 数据集 (modelscope.cn)

--model_name: 默认为[None, None]. 如果开启了自我认知数据集的采样(即self_cognition_sample>0), 需要传入两个值, 分别代表模型的中文名和英文名. 例如: --model_name 小黄 'Xiao Huang'

--model_author: 默认为[None, None]. 如果开启了自我认知数据集的采样, 你需要传入两个值, 分别代表作者的中文名和英文名. 例如: --model_author 魔搭 ModelScope

其它参数可自己调整。

4、pytorch作为后端推理

复制代码
CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199

5、合并lora

复制代码
CUDA_VISIBLE_DEVICES=0,1,2,3 swift export --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199 --merge_lora true

此时会生成./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged,里面就包含了*.safetensors模型文件四个。

6、使用vllm作为后端加速推理

复制代码
pip install vllm

RAY_memory_monitor_refresh_ms=0 CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged --infer_backend vllm --tensor_parallel_size 1 --max_model_len 8192 --gpu_memory_utilization 0.95

加速效果非常明显。

7、使用WebUI推理

之前的互动都在CLI中,同时还可通过web界面来互动。

复制代码
swift app-ui --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged

访问:127.0.0.1:7860即可。

常见错误

1、ImportError: /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /home/wuye/anaconda3/envs/tf2/lib/python3.8/site-packages/google/protobuf/pyext/_message.cpython-38-x86_64-linux-gnu.so)

这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.29,解决方法,如下所示:

(1)使用指令先看下系统目前都有哪些版本的

复制代码
strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX

我这里只到3.28,所以确定是缺少GLIBCXX_3.4.29。

(2)来查看当前系统中其它的同类型文件,找到一个版本比较高的

复制代码
sudo find / -name "libstdc++.so.6*"

找到/opt/conda/lib/libstdc++.so.6.0.29,看看其是否包含需要的版本:

复制代码
strings /opt/conda/lib/libstdc++.so.6.0.29 | grep GLIBCXX

可以看到有需要的版本,接下来就是建立新的链接到这个文件上

复制代码
cp /opt/conda/lib/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/
rm /usr/lib/x86_64-linux-gnu/libstdc++.so.6
ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/libstdc++.so.6

2、Qwen2报错------RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'

说明torch版本太低,我当前版本是2.0.1,升级torch版本到2.2.2即可。

复制代码
pip install torch==2.2.2

参考:

基于SWIFT微调专属于自己的大模型 - 知乎 (zhihu.com)

如何解决version `GLIBCXX_3.4.29' not found的问题_glibcxx not found-CSDN博客

Qwen2报错------RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'_automodelforcausallm runtimeerror: probability ten-CSDN博客 部署llama3时出现RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'报错_the attention mask is not set and cannot be inferr-CSDN博客

Swift微调命令参数 - 岁 - 博客园 (cnblogs.com)

Qwen2-7B-微调-训练-评估_哔哩哔哩_bilibili

相关推荐
小菜全11 小时前
uniapp新增页面及跳转配置方法
开发语言·前端·javascript·vue.js·前端框架
人衣aoa11 小时前
Python编程基础(八) | 类
开发语言·python
晚云与城11 小时前
今日分享:C++ Stack和queue(栈与队列)
开发语言·c++
小莞尔11 小时前
【51单片机】【protues仿真】基于51单片机停车场的车位管理系统
c语言·开发语言·单片机·嵌入式硬件·51单片机
张烫麻辣亮。11 小时前
golang-gin包
开发语言·golang·gin
yuluo_YX11 小时前
Go Style 代码风格规范
开发语言·后端·golang
百锦再11 小时前
脚本语言的大浪淘沙或百花争艳
java·开发语言·人工智能·python·django·virtualenv·pygame
上位机付工12 小时前
C#与倍福TwinCAT3进行ADS通信
开发语言·c#
励志不掉头发的内向程序员12 小时前
STL库——二叉搜索树
开发语言·c++·学习
至此流年莫相忘13 小时前
设计模式:模板方法模式
java·开发语言·设计模式