llama-factory微调大模型

一、背景

微调或者全量调大语言模型,还包括deepseek,想找个快速的微调教程,网上暂时没有

二、原理和步骤

原理:搭建环境太累了,还是docker环境镜像简单快捷

1、先下载模型

如果用本身的会自动从huggingface下载,这下不了(也没有提示)

复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径

2、拉去LLAMA-factory repo

复制代码
docker build -f ./Dockerfile -t llama-factory:latest .

3、要根据自己的目录调整启动镜像

复制代码
docker run --gpus=all \
    -v 你下载的模型地址:/models/Qwen-7B \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -e CUDA_VISIBLE_DEVICES=0 \
    -p 7860:7860 \
    --shm-size 16G \
    --name llama_factory \
    -d llama-factory:latest

三、访问web

地址:ip:7860

可以点击chat-load模型,并可以正常聊天了

其次就算微调模型,各种参数设置了

相关推荐
relis1 天前
解密llama.cpp中的batch与ubatch:深度学习推理优化的内存艺术
深度学习·batch·llama
relis1 天前
解密llama.cpp:Prompt Processing如何实现高效推理?
prompt·llama
GEO_JYB2 天前
BERT家族进化史:从BERT到LLaMA,每一次飞跃都源于对“学习”的更深理解
学习·bert·llama
AI大模型3 天前
大模型开发实战:使用 LLaMA Factory 微调与量化模型并部署至 Ollama
程序员·llm·llama
relis3 天前
解密llama.cpp:从Prompt到Response的完整技术流程剖析
prompt·llama
我不是小upper3 天前
Llama v3 中的低秩自适应 (LoRA)
llama
df007df10 天前
【RAGFlow代码详解-10】文本处理和查询处理
人工智能·ocr·embedding·llama
liliangcsdn10 天前
llama.cpp reranking源码分析
llama
go&Python12 天前
检索模型与RAG
开发语言·python·llama
修一呀14 天前
[大模型微调]基于llama_factory用 LoRA 高效微调 Qwen3 医疗大模型:从原理到实现
人工智能·llama·大模型微调