llama-factory微调大模型

一、背景

微调或者全量调大语言模型,还包括deepseek,想找个快速的微调教程,网上暂时没有

二、原理和步骤

原理:搭建环境太累了,还是docker环境镜像简单快捷

1、先下载模型

如果用本身的会自动从huggingface下载,这下不了(也没有提示)

复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径

2、拉去LLAMA-factory repo

复制代码
docker build -f ./Dockerfile -t llama-factory:latest .

3、要根据自己的目录调整启动镜像

复制代码
docker run --gpus=all \
    -v 你下载的模型地址:/models/Qwen-7B \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -e CUDA_VISIBLE_DEVICES=0 \
    -p 7860:7860 \
    --shm-size 16G \
    --name llama_factory \
    -d llama-factory:latest

三、访问web

地址:ip:7860

可以点击chat-load模型,并可以正常聊天了

其次就算微调模型,各种参数设置了

相关推荐
大傻^2 小时前
大模型基于llama.cpp量化详解
llama·大模型量化
大傻^7 小时前
大模型微调-基于llama-factory详解
llama·模型微调
空中楼阁,梦幻泡影11 小时前
主流4 大模型(GPT、LLaMA、DeepSeek、QWE)的训练与推理算力估算实例详细数据
人工智能·gpt·llama
蓝田生玉12314 小时前
LLaMA论文阅读笔记
论文阅读·笔记·llama
木卫二号Coding15 小时前
第七十七篇-V100+llama-cpp-python-server+Qwen3-30B+GGUF
开发语言·python·llama
木卫二号Coding15 小时前
第七十六篇-V100+llama-cpp-python+Qwen3-30B+GGUF
开发语言·python·llama
姚华军1 天前
在本地(Windows环境)部署LLaMa-Factory,进行模型微调步骤!!!
windows·ai·llama·llama-factory
Honmaple2 天前
openclaw使用llama.cpp 本地大模型部署教程
llama
love530love2 天前
Windows 11 配置 CUDA 版 llama.cpp 并实现系统全局调用(GGUF 模型本地快速聊天)
人工智能·windows·大模型·llama·llama.cpp·gguf·cuda 加速
feasibility.2 天前
多模态模型Qwen3-VL在Llama-Factory中断LoRA微调训练+测试+导出+部署全流程--以具身智能数据集open-eqa为例
人工智能·python·大模型·nlp·llama·多模态·具身智能