大模型管理工具:LLaMA-Factory

目录

一、安装与环境配置

[二、​启动 Web 界面](#二、启动 Web 界面)

三、数据准备

四、模型训练

五、模型评估

七、模型导出

八、API服务部署


LLaMA-Factory 是一个开源的大语言模型(LLM)微调框架,旨在简化大规模模型的训练、微调和部署流程。它支持多种主流模型(如 LLaMA、Qwen、ChatGLM 等),提供命令行和可视化 WebUI 两种交互方式,并集成了 LoRA、QLoRA 等高效微调技术,显著降低了模型定制化的技术门槛。

一、安装与环境配置

bash 复制代码
# 克隆仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 创建 Conda 环境
conda create -n llamafactory python=3.11
conda activate llamafactory

# 安装依赖(含 PyTorch 和评估工具)
pip install -e ".[all]"
# 安装 DeepSpeed(可选)
pip install deepspeed

若需从 ModelScope 下载模型,可设置环境变量:

export USE_MODELSCOPE_HUB=1(Linux)或 set USE_MODELSCOPE_HUB=1(Windows)

二、​启动 Web 界面

bash 复制代码
llamafactory-cli webui  # 自动启动可视化操作台,支持参数配置与训练启动

三、数据准备

支持多种数据格式(JSON、CSV、TXT)转换成训练所需的格式(如Alpaca、ShareGPT等),需按如下格式组织:

{"instruction": "问题1", "input": "输入1", "output": "答案1"}, {"instruction": "问题2", "output": "答案2"}

将数据转换为训练所需的格式:

bash 复制代码
python src/llamafactory/data/convert_data.py \
  --input_path data/raw.json \
  --output_path data/processed.json \
  --format alpaca

四、模型训练

bash 复制代码
llamafactory-cli train \
  --model_name_or_path meta-llama/Llama-2-7b-hf \
  --train_file data/train.json \
  --output_dir ./output \
  --num_train_epochs 3 \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 8 \
  --learning_rate 2e-4 \
  --deepspeed config/ds_config.json \
  --fp16
 

五、模型评估

bash 复制代码
llamafactory-cli evaluate \
  --model_name_or_path ./output \
  --eval_file data/val.json \
  --per_device_eval_batch_size 8 \
  --predict_with_generate

六、模型推理

bash 复制代码
llamafactory-cli generate \
  --model_name_or_path ./output \
  --prompt "请解释量子力学的基本原理。" \
  --max_new_tokens 256 \
  --temperature 0.7

七、模型导出

LLaMA-Factory 中,导出训练后的模型可以通过 llamafactory-cli export 命令完成。支持导出为多种格式(如 GGUFONNXHugging Face 格式),以下是具体用法和示例:

导出为 GGUF 格式(支持量化)

bash 复制代码
# 导出为 GGUF 格式(不量化)
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/gguf \
  --export_format gguf

# 导出为 GGUF 格式并量化(如 q4_k_m)
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/gguf-quantized \
  --export_format gguf \
  --quantization q4_k_m

导出为 ONNX 格式 :

bash 复制代码
llamafactory-cli export \
  --model_name_or_path ./output \
  --export_dir ./onnx \
  --export_format onnx

导出为 Hugging Face 格式(原生格式)

bash 复制代码
llamafactory-cli export \
  --model_name_or_path ./output/llama-3-finetuned \
  --export_dir ./exported/hf-model \
  --export_format hf

八、API服务部署

bash 复制代码
# 启动 OpenAI 风格 API
CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml

# 使用 VLLM 加速推理(需先合并模型)
llamafactory-cli api --model_name_or_path merged_model --infer_backend vllm

通过 http://localhost:8000/docs 访问 API 文档。

相关推荐
try2find12 小时前
安装llama-cpp-python踩坑记
开发语言·python·llama
西西弗Sisyphus18 小时前
LLaMA-Factory 单卡后训练微调Qwen3完整脚本
微调·llama·llama-factory·后训练
顾道长生'18 小时前
(Arxiv-2024)自回归模型优于扩散:Llama用于可扩展的图像生成
计算机视觉·数据挖掘·llama·自回归模型·多模态生成与理解
Zhijun.li@Studio11 天前
【LLaMA-Factory 实战系列】二、WebUI 篇 - Qwen2.5-VL 多模态模型 LoRA 微调保姆级教程
人工智能·自然语言处理·llama·多模态大模型
1213411 天前
LLM:重构数字世界的“智能操作系统”
gpt·aigc·ai编程·llama·gpu算力
冷雨夜中漫步19 天前
Java中如何使用lambda表达式分类groupby
java·开发语言·windows·llama
扫地的小何尚20 天前
全新NVIDIA Llama Nemotron Nano视觉语言模型在OCR基准测试中准确率夺冠
c++·人工智能·语言模型·机器人·ocr·llama·gpu
CFAteam21 天前
DeepSeek AI功能演示:如何生成Verilog脚本
人工智能·ai·fpga开发·llama
Tadas-Gao23 天前
从碳基羊驼到硅基LLaMA:开源大模型家族的生物隐喻与技术进化全景
人工智能·机器学习·大模型·llm·llama
Run_Clover23 天前
llama-factory微调大模型环境配置避坑总结
llama