Windows下安装 LLama-Factory 保姆级教程

本机配置

  • 品牌:联想拯救者Y9000x-2022
  • CPU:12th Gen Intel® Core™ i7-12700H 2.30 GHz
  • RAM:24.0 GB (23.8 GB 可用)
  • GPU: NVIDIA GeForce RTX 3060 Laptop GPU 6G
  • CUDA版本:12.3 (可以在PowerShell下输入 nvidia-smi 命令查看自己的CUDA版本)

LLama-Factory

介绍

  1. LLaMA Factory 是一个旨在简化大型语言模型训练和微调流程的平台。它支持多种预训练模型,如LLaMA、LLaVA、Mistral等,以及多种训练算法,包括增量预训练、多模态指令监督微调、奖励模型训练等。此外,LLaMA Factory 还支持不同的运算精度和优化算法,以及分布式训练,使得在单机多卡或多机多卡环境下进行训练成为可能。

  2. LLaMA Factory 提供了丰富的特性,包括但不限于:

    • 模型种类:支持多种大型语言模型。
    • 训练算法:支持多种微调技术。
    • 运算精度:支持不同精度的微调,包括全参数微调和LoRA微调。
    • 优化算法:提供了多种优化算法,如GaLore、BAdam等。
    • 加速算子:支持FlashAttention和Unsloth等加速算子。
    • 推理引擎:支持Transformers和vLLM。
    • 实验面板:支持LlamaBoard、TensorBoard等多种实验面板。
  3. LLaMA Factory 还提供了基于gradio的网页版工作台,使得初学者可以快速上手操作,开发出自己的第一个模型。此外,它还支持华为NPU适配,允许在NPU上进行模型训练和推理。

  4. 对于分布式训练,LLaMA Factory 支持DDP、DeepSpeed和FSDP三种分布式引擎,可以根据任务需求与设备选择使用。DDP通过实现模型并行和数据并行来加速训练,而DeepSpeed和FSDP则提供了更高级的优化技术。

  5. LLaMA Factory 还提供了评估工具,可以在模型训练完成后评估模型效果,自动计算BLEU和ROUGE分数,并保存评估结果。

安装步骤

  1. git下载:git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
  2. 本机新建虚拟环境,并激活进入deeplearning虚拟环境中。
bash 复制代码
conda create -n deeplearning python=3.11 -y
 conda activate deeplearning
  1. cd 到项目中根据项目README.md,安装项目依赖的库:pip install -e ".[torch,metrics]";等待安装结束;

  2. 根据README.md说明,在Windows环境下,还需要安装预编译的 bitsandbytes 库,支持 CUDA 11.1 到 12.2, 请根据自己的 CUDA 版本情况选择适合的发布版本

bash 复制代码
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
  1. 到此,基本根据README.md中说明,已经安装好必备的库,启动项目时候需要啥再进一步安装,具体可以参考README.md中来搭建本地大模型开发训练环境。

启动项目

  1. LLaMA Board 可视化微调(由 Gradio 驱动):llamafactory-cli webui,(也可以执行命令:python src/webui.py)顺利的话会在浏览器弹出如下界面,表示启动成功。
  1. 注意一下,需要把梯子卸了,要不执行启动项目命令,无法访问,可能在有梯子的条件下需要配置一些东西,没仔细研究。

界面说明

  1. 设置语言,可以选择中文

  2. 选择模型名称,主流的开源的模型都有。

  3. 模型地址:

  4. 微调配置:

相关推荐
deephub19 分钟前
优化注意力层提升 Transformer 模型效率:通过改进注意力机制降低机器学习成本
人工智能·深度学习·transformer·大语言模型·注意力机制
搏博31 分钟前
神经网络问题之二:梯度爆炸(Gradient Explosion)
人工智能·深度学习·神经网络
CHEtuzki33 分钟前
录播?无人直播?半无人直播?
ai·直播·抖音·电商
KGback37 分钟前
【论文解析】HAQ: Hardware-Aware Automated Quantization With Mixed Precision
人工智能
电子手信1 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
不高明的骗子1 小时前
【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境
人工智能·pytorch·深度学习·cuda
Chef_Chen1 小时前
从0开始学习机器学习--Day33--机器学习阶段总结
人工智能·学习·机器学习
搏博1 小时前
神经网络问题之:梯度不稳定
人工智能·深度学习·神经网络
Sxiaocai1 小时前
使用 PyTorch 实现并训练 VGGNet 用于 MNIST 分类
pytorch·深度学习·分类
GL_Rain1 小时前
【OpenCV】Could NOT find TIFF (missing: TIFF_LIBRARY TIFF_INCLUDE_DIR)
人工智能·opencv·计算机视觉