llama-factory微调大模型

一、背景

微调或者全量调大语言模型,还包括deepseek,想找个快速的微调教程,网上暂时没有

二、原理和步骤

原理:搭建环境太累了,还是docker环境镜像简单快捷

1、先下载模型

如果用本身的会自动从huggingface下载,这下不了(也没有提示)

复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B')
print(model_dir )下载的路径

2、拉去LLAMA-factory repo

复制代码
docker build -f ./Dockerfile -t llama-factory:latest .

3、要根据自己的目录调整启动镜像

复制代码
docker run --gpus=all \
    -v 你下载的模型地址:/models/Qwen-7B \
    -v ./data:/app/data \
    -v ./output:/app/output \
    -e CUDA_VISIBLE_DEVICES=0 \
    -p 7860:7860 \
    --shm-size 16G \
    --name llama_factory \
    -d llama-factory:latest

三、访问web

地址:ip:7860

可以点击chat-load模型,并可以正常聊天了

其次就算微调模型,各种参数设置了

相关推荐
AI大模型顾潇20 分钟前
[特殊字符] 本地部署DeepSeek大模型:安全加固与企业级集成方案
数据库·人工智能·安全·大模型·llm·微调·llama
modest —YBW6 小时前
Ollama+OpenWebUI+docker完整版部署,附带软件下载链接,配置+中文汉化+docker源,适合内网部署,可以局域网使用
人工智能·windows·docker·语言模型·llama
青衫客368 小时前
使用本地部署的 LLaMA 3 模型进行中文对话生成
大模型·llama
Silence4Allen9 小时前
大模型微调指南之 LLaMA-Factory 篇:一键启动LLaMA系列模型高效微调
人工智能·大模型·微调·llama-factory
cainiao0806051 天前
《大模型微调实战:Llama 3.0全参数优化指南》
llama
鸿蒙布道师1 天前
英伟达开源Llama-Nemotron系列模型:14万H100小时训练细节全解析
深度学习·神经网络·opencv·机器学习·自然语言处理·数据挖掘·llama
青花瓷1 天前
llama-Factory不宜直接挂接Ollama的大模型
人工智能·大模型·agent·llama·智能体
连环喷嚏虾_1 天前
服务器配置llama-factory问题解决
llama
白熊1882 天前
【大模型】使用 LLaMA-Factory 进行大模型微调:从入门到精通
人工智能·大模型·llama
AI大模型顾潇3 天前
[特殊字符] Milvus + LLM大模型:打造智能电影知识库系统
数据库·人工智能·机器学习·大模型·llm·llama·milvus