【AI时代】可视化训练模型工具LLaMA-Factory安装与使用

文章目录

安装

官方地址:https://github.com/hiyouga/LLaMA-Factory

创建虚拟环境

bash 复制代码
conda create -n llama-factory
conda activate llama-factory

安装

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

检查

完成安装后,可以通过使用llamafactory-cli来快速校验安装是否成功

如果您能成功看到类似下面的界面,就说明安装成功了。

启动webui

bash 复制代码
nohup llamafactory-cli webui > output.log 2>&1 &

启动后访问该地址:

训练

简单在页面设置一下参数

模型路径:可以使用huggingface的路径,也可以直接配置本地的路径;大部分参数使用默认的即可。

自定义数据集需要在该文件中进行配置,页面才可见:

配置好之后,点击预览命令,展示训练命令:

bash 复制代码
llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path /mnt/largeroom/llm/model/DeepSeek-R1-Distill-Qwen-1.5B \
    --preprocessing_num_workers 16 \
    --finetuning_type lora \
    --template deepseek3 \
    --flash_attn auto \
    --dataset_dir data \
    --dataset alpaca_zh_demo \
    --cutoff_len 2048 \
    --learning_rate 5e-05 \
    --num_train_epochs 3.0 \
    --max_samples 1000000 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 4 \
    --packing False \
    --report_to none \
    --output_dir saves/DeepSeek-R1-1.5B-Distill/lora/train_lora_02 \
    --bf16 True \
    --plot_loss True \
    --trust_remote_code True \
    --ddp_timeout 180000000 \
    --include_num_input_tokens_seen True \
    --optim adamw_torch \
    --lora_rank 16 \
    --lora_alpha 16 \
    --lora_dropout 0 \
    --lora_target all

可以看到我所有卡都用上了:

完成之后,会展示损失函数:

在输出目录可以看到微调好的权重:

使用

对于训练好的模型,如果是像上图这像的分开存储的权重,可以通过配置检查点路径进行调用

需要提前安装vllm:

yaml 复制代码
pip install vllm==0.7.2

如果安装慢,网络连接不上,可以使用-i指定源:

yaml 复制代码
 pip install vllm==0.7.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/

常用的国内源:

plain 复制代码
阿里云:https://mirrors.aliyun.com/pypi/simple/
豆瓣:https://pypi.douban.com/simple/
清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学:https://pypi.mirrors.ustc.edu.cn/simple/

也可以通过 <font style="color:rgb(0, 0, 0);">llamafactory-cli export merge_config.yaml</font> 指令来合并模型。

yaml 复制代码
### model
model_name_or_path: /mnt/largeroom/llm/model/DeepSeek-R1-Distill-Qwen-1.5B
adapter_name_or_path: /mnt/largeroom/zhurunhua/LLaMA-Factory/saves/DeepSeek-R1-1.5B-Distill/lora/train_lora_02
template: deepseek3
finetuning_type: lora

### export
export_dir: /mnt/largeroom/llm/model/deepseek-r1-1.5b-peft
export_size: 2
export_device: cpu
export_legacy_format: false
相关推荐
小陈phd9 分钟前
高级RAG策略学习(四)——上下文窗口增强检索RAG
人工智能·学习·langchain
居然JuRan22 分钟前
阿里云多模态大模型岗三面面经
人工智能
THMAIL24 分钟前
深度学习从入门到精通 - BERT与预训练模型:NLP领域的核弹级技术详解
人工智能·python·深度学习·自然语言处理·性能优化·bert
nju_spy25 分钟前
Kaggle - LLM Science Exam 大模型做科学选择题
人工智能·机器学习·大模型·rag·南京大学·gpu分布计算·wikipedia 维基百科
relis38 分钟前
解密llama.cpp中的batch与ubatch:深度学习推理优化的内存艺术
深度学习·batch·llama
中國龍在廣州1 小时前
GPT-5冷酷操盘,游戏狼人杀一战封神!七大LLM狂飙演技,人类玩家看完沉默
人工智能·gpt·深度学习·机器学习·计算机视觉·机器人
东哥说-MES|从入门到精通1 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
CodeCraft Studio1 小时前
Aspose.Words for .NET 25.7:支持自建大语言模型(LLM),实现更安全灵活的AI文档处理功能
人工智能·ai·语言模型·llm·.net·智能文档处理·aspose.word
山烛1 小时前
深度学习:CNN 模型训练中的学习率调整(基于 PyTorch)
人工智能·pytorch·python·深度学习·cnn·调整学习率
THMAIL1 小时前
深度学习从入门到精通 - 神经网络核心原理:从生物神经元到数学模型蜕变
人工智能·python·深度学习·神经网络·算法·机器学习·逻辑回归