llama-factory快速开始

llama-factory快速开始

文章目录

  • llama-factory快速开始
    • 前言
    • 一、环境配置
      • [1.1 训练顺利运行需要包含4个必备条件](#1.1 训练顺利运行需要包含4个必备条件)
      • [1.2 llama-factory下载](#1.2 llama-factory下载)
      • [1.3 环境下载](#1.3 环境下载)
      • [1.4 硬件环境校验](#1.4 硬件环境校验)
    • 二、启动

前言

复制代码
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

这是GitHub中文介绍文档,里面的教程更加详细,本人记录是方便本人看,对于我已经熟练的部分,教程中可能不会细说甚至跳过。

不同的是,我用的模型是qwen3-4B

一、环境配置

1.1 训练顺利运行需要包含4个必备条件

1.机器本身的硬件和驱动支持(包含显卡驱动,网络环境等)

2.本项目及相关依赖的python库的正确安装(包含CUDA, Pytorch等)

3.目标训练模型文件的正确下载

4.训练数据集的正确构造和配置

1.2 llama-factory下载

复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -e '.[torch,metrics]'

上述的安装命令完成了如下几件事

1.新建一个LLaMA-Factory 使用的python环境(可选) 安装LLaMA-Factory

2.所需要的第三方基础库(requirements.txt包含的库) 安装评估指标所需要的库,包含nltk, jieba,

  1. rouge-chinese 安装LLaMA-Factory本身,然后在系统中生成一个命令 llamafactory-cli(具体用法见下方教程)

1.3 环境下载

安装对应版本工具

1.cuda

2.pytorch等核心工具

测试torch版本:

复制代码
import torch
print(torch.cuda.current_device())
print(torch.cuda.get_device_name(0))
print(torch.__version__)

如果识别不到可用的GPU,则说明环境准备还有问题,需要先进行处理,才能往后进行。

1.4 硬件环境校验

复制代码
nvidia-smi

同时对本库的基础安装做一下校验,输入以下命令获取训练相关的参数指导, 否则说明库还没有安装成功

复制代码
llamafactory-cli train -h

3.3 模型下载与可用性校验

参考链接:

下面文章的2.2部分

复制代码
https://blog.csdn.net/2401_85252837/article/details/149342446?spm=1001.2014.3001.5502

或者

复制代码
1.项目支持通过模型名称直接从huggingface 和modelscope下载模型,但这样不容易对模型文件进行统一管理,所以这里笔者建议使用手动下载,然后后续使用时使用绝对路径来控制使用哪个模型。
以Meta-Llama-3-8B-Instruct为例,通过huggingface 下载(可能需要先提交申请通过)
git clone https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct


2.modelscope 下载(适合中国大陆网络环境)
git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git
或者

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct')
由于网络环境等原因,文件下载后往往会存在文件不完整的很多情况,下载后需要先做一下校验,校验分为两部分,第一先检查一下文件大小和文件数量是否正确,和原始的huggingface显示的做一下肉眼对比

二、启动

复制代码
CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat \
    --model_name_or_path //home/models/Qwen3-4B \
    --template qwen \



相关推荐
爱分享的飘哥4 天前
第四十六章:AI的“瞬时记忆”与“高效聚焦”:llama.cpp的KV Cache与Attention机制
llama·llama.cpp·kv cache·attention优化·llm cpu推理·量化attention·gguf推理
psyq5 天前
LLaMA Factory 角色扮演模型微调实践记录
人工智能·llama
liliangcsdn13 天前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
茫茫人海一粒沙14 天前
使用 LLaMA 3 8B 微调一个 Reward Model:从入门到实践
llama
liliangcsdn15 天前
mac llama_index agent算术式子计算示例
人工智能·python·macos·llama
许愿与你永世安宁17 天前
RAG(检索增强生成)里的文档管理
数据库·人工智能·gpt·oracle·llama·rag
许愿与你永世安宁20 天前
基于Llama的RAG 3种模型配置方法
人工智能·python·自然语言处理·json·github·llama·faiss
至善迎风20 天前
本地部署 Kimi K2 全指南(llama.cpp、vLLM、Docker 三法)
docker·容器·llama·kimi
阿斯卡码20 天前
安装 llama-cpp-python 的CPU和GPU方法
开发语言·python·llama