大模型管理工具:LLaMA-Factory

目录

一、安装与环境配置

[二、​启动 Web 界面](#二、启动 Web 界面)

三、数据准备

四、模型训练

五、模型评估

七、模型导出

八、API服务部署


LLaMA-Factory 是一个开源的大语言模型(LLM)微调框架,旨在简化大规模模型的训练、微调和部署流程。它支持多种主流模型(如 LLaMA、Qwen、ChatGLM 等),提供命令行和可视化 WebUI 两种交互方式,并集成了 LoRA、QLoRA 等高效微调技术,显著降低了模型定制化的技术门槛。

一、安装与环境配置

bash 复制代码
# 克隆仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 创建 Conda 环境
conda create -n llamafactory python=3.11
conda activate llamafactory

# 安装依赖(含 PyTorch 和评估工具)
pip install -e ".[all]"
# 安装 DeepSpeed(可选)
pip install deepspeed

若需从 ModelScope 下载模型,可设置环境变量:

export USE_MODELSCOPE_HUB=1(Linux)或 set USE_MODELSCOPE_HUB=1(Windows)

二、​启动 Web 界面

bash 复制代码
llamafactory-cli webui  # 自动启动可视化操作台,支持参数配置与训练启动

三、数据准备

支持多种数据格式(JSON、CSV、TXT)转换成训练所需的格式(如Alpaca、ShareGPT等),需按如下格式组织:

{"instruction": "问题1", "input": "输入1", "output": "答案1"}, {"instruction": "问题2", "output": "答案2"}

将数据转换为训练所需的格式:

bash 复制代码
python src/llamafactory/data/convert_data.py \
  --input_path data/raw.json \
  --output_path data/processed.json \
  --format alpaca

四、模型训练

bash 复制代码
llamafactory-cli train \
  --model_name_or_path meta-llama/Llama-2-7b-hf \
  --train_file data/train.json \
  --output_dir ./output \
  --num_train_epochs 3 \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 8 \
  --learning_rate 2e-4 \
  --deepspeed config/ds_config.json \
  --fp16
 

五、模型评估

bash 复制代码
llamafactory-cli evaluate \
  --model_name_or_path ./output \
  --eval_file data/val.json \
  --per_device_eval_batch_size 8 \
  --predict_with_generate

六、模型推理

bash 复制代码
llamafactory-cli generate \
  --model_name_or_path ./output \
  --prompt "请解释量子力学的基本原理。" \
  --max_new_tokens 256 \
  --temperature 0.7

七、模型导出

LLaMA-Factory 中,导出训练后的模型可以通过 llamafactory-cli export 命令完成。支持导出为多种格式(如 GGUFONNXHugging Face 格式),以下是具体用法和示例:

导出为 GGUF 格式(支持量化)

bash 复制代码
# 导出为 GGUF 格式(不量化)
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/gguf \
  --export_format gguf

# 导出为 GGUF 格式并量化(如 q4_k_m)
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/gguf-quantized \
  --export_format gguf \
  --quantization q4_k_m

导出为 ONNX 格式 :

bash 复制代码
llamafactory-cli export \
  --model_name_or_path ./output \
  --export_dir ./onnx \
  --export_format onnx

导出为 Hugging Face 格式(原生格式)

bash 复制代码
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/hf-model \
  --export_format hf

八、API服务部署

bash 复制代码
# 启动 OpenAI 风格 API
CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml

# 使用 VLLM 加速推理(需先合并模型)
llamafactory-cli api --model_name_or_path merged_model --infer_backend vllm

通过 http://localhost:8000/docs 访问 API 文档。

相关推荐
liliangcsdn1 天前
mac llama_index agent算术式子计算示例
人工智能·python·macos·llama
许愿与你永世安宁3 天前
RAG(检索增强生成)里的文档管理
数据库·人工智能·gpt·oracle·llama·rag
许愿与你永世安宁6 天前
基于Llama的RAG 3种模型配置方法
人工智能·python·自然语言处理·json·github·llama·faiss
至善迎风6 天前
本地部署 Kimi K2 全指南(llama.cpp、vLLM、Docker 三法)
docker·容器·llama·kimi
阿斯卡码6 天前
安装 llama-cpp-python 的CPU和GPU方法
开发语言·python·llama
学不会就看7 天前
llama-factory快速开始
llama
NullPointerExpection9 天前
LLM大语言模型不适合统计算数,可以让大模型根据数据自己建表、插入数据、编写查询sql统计
数据库·人工智能·sql·算法·llm·llama·工作流
MUTA️10 天前
Llama系列:Llama1, Llama2,Llama3内容概述
llama
kailp11 天前
语言模型玩转3D生成:LLaMA-Mesh开源项目
人工智能·3d·ai·语言模型·llama·gpu算力
大模型最新论文速读13 天前
指令微调时,也要考虑提示损失
人工智能·深度学习·语言模型·自然语言处理·llama