llama-factory微调大模型

君臣Andy2024-06-01 9:37

一、背景

微调或者全量调大语言模型，还包括deepseek,想找个快速的微调教程，网上暂时没有

二、原理和步骤

原理：搭建环境太累了，还是docker环境镜像简单快捷

1、先下载模型

如果用本身的会自动从huggingface下载，这下不了（也没有提示）

复制代码

from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径

2、拉去LLAMA-factory repo

复制代码

docker build -f ./Dockerfile -t llama-factory:latest .

3、要根据自己的目录调整启动镜像

复制代码

docker run --gpus=all \
    -v 你下载的模型地址:/models/Qwen-7B \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -e CUDA_VISIBLE_DEVICES=0 \
    -p 7860:7860 \
    --shm-size 16G \
    --name llama_factory \
    -d llama-factory:latest

三、访问web

地址：ip:7860

可以点击chat-load模型，并可以正常聊天了

其次就算微调模型，各种参数设置了