环境说明：
CUDA相关环境已搭建完成，不会装CUDA环境可参照我的其它文章；
显卡：4张3090
1、安装swift环境
#从源码安装
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[llm]
pip install -e .[eval]
2、下载Qwen2-7B-Instruct模型
from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer
model_dir = snapshot_download('qwen/Qwen2-7B-Instruct')
# Loading local checkpoints
# trust_remote_code is still set as True since we still load codes from local dir instead of transformers
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_dir,
device_map="auto",
trust_remote_code=True
).eval()
3、微调
CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift sft --model_type qwen2-7b-instruct \
--model_id_or_path /root/.cache/modelscope/hub/qwen/Qwen2-7B-Instruct \
--sft_type lora \
--dtype AUTO \
--dataset AI-ModelScope/alpaca-gpt4-data-zh#200 \
--self_cognition_sample 3000 \
--model_name 阿盛 Master \
--model_author 盛世芳华 LLM_ROME \
--num_train_epochs 1 \
--lora_rank 8 \
--lora_alpha 32 \
--lora_dropout_p 0.05 \
--lora_target_modules ALL \
--gradient_checkpointing true \
--batch_size 1 \
--weight_decay 0.1 \
--learning_rate 1e-4 \
--gradient_accumulation_steps 16 \
--output_dir output
--model_id_or_path：指定模型路径
--dataset：指定魔搭的数据集ID，我用的是AI-ModelScope/alpaca-gpt4-data-zh数据集
--self_cognition_sample：开启自我认知微调，开启后自动使用魔搭的swift/self-cognition数据集（自我认知微调数据集 · 数据集 (modelscope.cn)）
--model_name: 默认为[None, None]. 如果开启了自我认知数据集的采样(即self_cognition_sample>0), 需要传入两个值, 分别代表模型的中文名和英文名. 例如: --model_name 小黄 'Xiao Huang'
--model_author: 默认为[None, None]. 如果开启了自我认知数据集的采样, 你需要传入两个值, 分别代表作者的中文名和英文名. 例如: --model_author 魔搭 ModelScope
其它参数可自己调整。
4、pytorch作为后端推理
CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199
5、合并lora
CUDA_VISIBLE_DEVICES=0,1,2,3 swift export --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199 --merge_lora true
此时会生成./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged，里面就包含了*.safetensors模型文件四个。
6、使用vllm作为后端加速推理
pip install vllm
RAY_memory_monitor_refresh_ms=0 CUDA_VISIBLE_DEVICES=0,1,2,3 swift infer --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged --infer_backend vllm --tensor_parallel_size 1 --max_model_len 8192 --gpu_memory_utilization 0.95
加速效果非常明显。
7、使用WebUI推理
之前的互动都在CLI中，同时还可通过web界面来互动。
swift app-ui --ckpt_dir ./output/qwen2-7b-instruct/v2-20240822-174710/checkpoint-199-merged
访问：127.0.0.1:7860即可。
常见错误
1、ImportError: /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /home/wuye/anaconda3/envs/tf2/lib/python3.8/site-packages/google/protobuf/pyext/_message.cpython-38-x86_64-linux-gnu.so)
这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.29，解决方法，如下所示：
（1）使用指令先看下系统目前都有哪些版本的
strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX
我这里只到3.28，所以确定是缺少GLIBCXX_3.4.29。
（2）来查看当前系统中其它的同类型文件，找到一个版本比较高的
sudo find / -name "libstdc++.so.6*"
找到/opt/conda/lib/libstdc++.so.6.0.29，看看其是否包含需要的版本：
strings /opt/conda/lib/libstdc++.so.6.0.29 | grep GLIBCXX
可以看到有需要的版本，接下来就是建立新的链接到这个文件上
cp /opt/conda/lib/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/
rm /usr/lib/x86_64-linux-gnu/libstdc++.so.6
ln -s /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.29 /usr/lib/x86_64-linux-gnu/libstdc++.so.6
2、Qwen2报错------RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'
说明torch版本太低，我当前版本是2.0.1，升级torch版本到2.2.2即可。
pip install torch==2.2.2
参考：
基于SWIFT微调专属于自己的大模型 - 知乎 (zhihu.com)
如何解决version `GLIBCXX_3.4.29' not found的问题_glibcxx not found-CSDN博客
Qwen2报错------RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'_automodelforcausallm runtimeerror: probability ten-CSDN博客 部署llama3时出现RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'报错_the attention mask is not set and cannot be inferr-CSDN博客