llama-factory微调大模型

一、背景

微调或者全量调大语言模型,还包括deepseek,想找个快速的微调教程,网上暂时没有

二、原理和步骤

原理:搭建环境太累了,还是docker环境镜像简单快捷

1、先下载模型

如果用本身的会自动从huggingface下载,这下不了(也没有提示)

复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径

2、拉去LLAMA-factory repo

复制代码
docker build -f ./Dockerfile -t llama-factory:latest .

3、要根据自己的目录调整启动镜像

复制代码
docker run --gpus=all \
    -v 你下载的模型地址:/models/Qwen-7B \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -e CUDA_VISIBLE_DEVICES=0 \
    -p 7860:7860 \
    --shm-size 16G \
    --name llama_factory \
    -d llama-factory:latest

三、访问web

地址:ip:7860

可以点击chat-load模型,并可以正常聊天了

其次就算微调模型,各种参数设置了

相关推荐
开发者导航2 天前
【开发者导航】轻量可微调且开源的大语言模型家族:LLaMA
语言模型·开源·llama
缘友一世3 天前
借助LLama_Factory工具对大模型进行lora微调
llama
illuspas4 天前
MI50运算卡使用llama.cpp的ROCm后端运行Qwen3-Coder-30B-A3B的速度测试
人工智能·llama
herogus丶4 天前
【LLM】LLaMA-Factory 训练模型入门指南
python·ai编程·llama
illuspas4 天前
MI50运算卡使用llama.cpp的ROCm后端运行gpt-oss-20b的速度测试
人工智能·gpt·llama
谏书稀4 天前
LLaMA Factory微调大模型
python·transformer·llama
Stara05114 天前
Ubuntu环境中LLaMA Factory 的部署与配置—构建大语言模型微调平台
ubuntu·lora·大语言模型·模型微调·qlora·llama-factory·实践指南
菠菠萝宝5 天前
【AI应用探索】-7- LLaMA-Factory微调模型
人工智能·深度学习·大模型·llm·nlp·attention·llama
wuningw6 天前
Windows环境下LLaMA-Factory微调模型时“未检测到CUDA环境”
llama
喜欢吃豆7 天前
llama.cpp 全方位技术指南:从底层原理到实战部署
人工智能·语言模型·大模型·llama·量化·llama.cpp