Windows下安装 LLama-Factory 保姆级教程

本机配置

• 品牌：联想拯救者Y9000x-2022
• CPU：12th Gen Intel® Core™ i7-12700H 2.30 GHz
• RAM：24.0 GB (23.8 GB 可用)
• GPU： NVIDIA GeForce RTX 3060 Laptop GPU 6G
• CUDA版本：12.3 (可以在PowerShell下输入 nvidia-smi 命令查看自己的CUDA版本)

LLama-Factory

介绍

1. LLaMA Factory 是一个旨在简化大型语言模型训练和微调流程的平台。它支持多种预训练模型，如LLaMA、LLaVA、Mistral等，以及多种训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。此外，LLaMA Factory 还支持不同的运算精度和优化算法，以及分布式训练，使得在单机多卡或多机多卡环境下进行训练成为可能。

2. LLaMA Factory 提供了丰富的特性，包括但不限于：

   • 模型种类：支持多种大型语言模型。
   • 训练算法：支持多种微调技术。
   • 运算精度：支持不同精度的微调，包括全参数微调和LoRA微调。
   • 优化算法：提供了多种优化算法，如GaLore、BAdam等。
   • 加速算子：支持FlashAttention和Unsloth等加速算子。
   • 推理引擎：支持Transformers和vLLM。
   • 实验面板：支持LlamaBoard、TensorBoard等多种实验面板。

3. LLaMA Factory 还提供了基于gradio的网页版工作台，使得初学者可以快速上手操作，开发出自己的第一个模型。此外，它还支持华为NPU适配，允许在NPU上进行模型训练和推理。

4. 对于分布式训练，LLaMA Factory 支持DDP、DeepSpeed和FSDP三种分布式引擎，可以根据任务需求与设备选择使用。DDP通过实现模型并行和数据并行来加速训练，而DeepSpeed和FSDP则提供了更高级的优化技术。

5. LLaMA Factory 还提供了评估工具，可以在模型训练完成后评估模型效果，自动计算BLEU和ROUGE分数，并保存评估结果。

安装步骤

1. git下载：git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
2. 本机新建虚拟环境，并激活进入deeplearning虚拟环境中。

conda create -n deeplearning python=3.11 -y
 conda activate deeplearning

3. cd 到项目中根据项目README.md，安装项目依赖的库：pip install -e ".[torch,metrics]"；等待安装结束；

4. 根据README.md说明，在Windows环境下，还需要安装预编译的 bitsandbytes 库，支持 CUDA 11.1 到 12.2, 请根据自己的 CUDA 版本情况选择适合的发布版本。

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

5. 到此，基本根据README.md中说明，已经安装好必备的库，启动项目时候需要啥再进一步安装，具体可以参考README.md中来搭建本地大模型开发训练环境。

启动项目

1. LLaMA Board 可视化微调（由 Gradio 驱动）：llamafactory-cli webui，（也可以执行命令：python src/webui.py）顺利的话会在浏览器弹出如下界面，表示启动成功。
   

3. 注意一下，需要把梯子卸了，要不执行启动项目命令，无法访问，可能在有梯子的条件下需要配置一些东西，没仔细研究。
   

界面说明

1. 设置语言，可以选择中文
   

2. 选择模型名称，主流的开源的模型都有。
   

3. 模型地址：
   

4. 微调配置：