本机配置
- 品牌:联想拯救者Y9000x-2022
- CPU:12th Gen Intel® Core™ i7-12700H 2.30 GHz
- RAM:24.0 GB (23.8 GB 可用)
- GPU: NVIDIA GeForce RTX 3060 Laptop GPU 6G
- CUDA版本:12.3 (可以在PowerShell下输入
nvidia-smi
命令查看自己的CUDA版本)
LLama-Factory
介绍
-
LLaMA Factory 是一个旨在简化大型语言模型训练和微调流程的平台。它支持多种预训练模型,如LLaMA、LLaVA、Mistral等,以及多种训练算法,包括增量预训练、多模态指令监督微调、奖励模型训练等。此外,LLaMA Factory 还支持不同的运算精度和优化算法,以及分布式训练,使得在单机多卡或多机多卡环境下进行训练成为可能。
-
LLaMA Factory 提供了丰富的特性,包括但不限于:
- 模型种类:支持多种大型语言模型。
- 训练算法:支持多种微调技术。
- 运算精度:支持不同精度的微调,包括全参数微调和LoRA微调。
- 优化算法:提供了多种优化算法,如GaLore、BAdam等。
- 加速算子:支持FlashAttention和Unsloth等加速算子。
- 推理引擎:支持Transformers和vLLM。
- 实验面板:支持LlamaBoard、TensorBoard等多种实验面板。
-
LLaMA Factory 还提供了基于gradio的网页版工作台,使得初学者可以快速上手操作,开发出自己的第一个模型。此外,它还支持华为NPU适配,允许在NPU上进行模型训练和推理。
-
对于分布式训练,LLaMA Factory 支持DDP、DeepSpeed和FSDP三种分布式引擎,可以根据任务需求与设备选择使用。DDP通过实现模型并行和数据并行来加速训练,而DeepSpeed和FSDP则提供了更高级的优化技术。
-
LLaMA Factory 还提供了评估工具,可以在模型训练完成后评估模型效果,自动计算BLEU和ROUGE分数,并保存评估结果。
安装步骤
- git下载:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
- 本机新建虚拟环境,并激活进入deeplearning虚拟环境中。
bash
conda create -n deeplearning python=3.11 -y
conda activate deeplearning
-
cd 到项目中根据项目README.md,安装项目依赖的库:
pip install -e ".[torch,metrics]"
;等待安装结束; -
根据README.md说明,在Windows环境下,还需要安装预编译的 bitsandbytes 库,支持 CUDA 11.1 到 12.2, 请根据自己的 CUDA 版本情况选择适合的发布版本。
bash
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
- 到此,基本根据README.md中说明,已经安装好必备的库,启动项目时候需要啥再进一步安装,具体可以参考README.md中来搭建本地大模型开发训练环境。
启动项目
- LLaMA Board 可视化微调(由 Gradio 驱动):
llamafactory-cli webui
,(也可以执行命令:python src/webui.py
)顺利的话会在浏览器弹出如下界面,表示启动成功。
- 注意一下,需要把梯子卸了,要不执行启动项目命令,无法访问,可能在有梯子的条件下需要配置一些东西,没仔细研究。
界面说明
-
设置语言,可以选择中文
-
选择模型名称,主流的开源的模型都有。
-
模型地址:
-
微调配置: