一、背景
微调或者全量调大语言模型,还包括deepseek,想找个快速的微调教程,网上暂时没有
二、原理和步骤
原理:搭建环境太累了,还是docker环境镜像简单快捷
1、先下载模型
如果用本身的会自动从huggingface下载,这下不了(也没有提示)
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径
2、拉去LLAMA-factory repo
docker build -f ./Dockerfile -t llama-factory:latest .
3、要根据自己的目录调整启动镜像
docker run --gpus=all \
-v 你下载的模型地址:/models/Qwen-7B \
-v ./data:/app/data \
-v ./output:/app/output \
-e CUDA_VISIBLE_DEVICES=0 \
-p 7860:7860 \
--shm-size 16G \
--name llama_factory \
-d llama-factory:latest
三、访问web
地址:ip:7860
可以点击chat-load模型,并可以正常聊天了
其次就算微调模型,各种参数设置了