Windows下安装 LLama-Factory 保姆级教程

本机配置

  • 品牌:联想拯救者Y9000x-2022
  • CPU:12th Gen Intel® Core™ i7-12700H 2.30 GHz
  • RAM:24.0 GB (23.8 GB 可用)
  • GPU: NVIDIA GeForce RTX 3060 Laptop GPU 6G
  • CUDA版本:12.3 (可以在PowerShell下输入 nvidia-smi 命令查看自己的CUDA版本)

LLama-Factory

介绍

  1. LLaMA Factory 是一个旨在简化大型语言模型训练和微调流程的平台。它支持多种预训练模型,如LLaMA、LLaVA、Mistral等,以及多种训练算法,包括增量预训练、多模态指令监督微调、奖励模型训练等。此外,LLaMA Factory 还支持不同的运算精度和优化算法,以及分布式训练,使得在单机多卡或多机多卡环境下进行训练成为可能。

  2. LLaMA Factory 提供了丰富的特性,包括但不限于:

    • 模型种类:支持多种大型语言模型。
    • 训练算法:支持多种微调技术。
    • 运算精度:支持不同精度的微调,包括全参数微调和LoRA微调。
    • 优化算法:提供了多种优化算法,如GaLore、BAdam等。
    • 加速算子:支持FlashAttention和Unsloth等加速算子。
    • 推理引擎:支持Transformers和vLLM。
    • 实验面板:支持LlamaBoard、TensorBoard等多种实验面板。
  3. LLaMA Factory 还提供了基于gradio的网页版工作台,使得初学者可以快速上手操作,开发出自己的第一个模型。此外,它还支持华为NPU适配,允许在NPU上进行模型训练和推理。

  4. 对于分布式训练,LLaMA Factory 支持DDP、DeepSpeed和FSDP三种分布式引擎,可以根据任务需求与设备选择使用。DDP通过实现模型并行和数据并行来加速训练,而DeepSpeed和FSDP则提供了更高级的优化技术。

  5. LLaMA Factory 还提供了评估工具,可以在模型训练完成后评估模型效果,自动计算BLEU和ROUGE分数,并保存评估结果。

安装步骤

  1. git下载:git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
  2. 本机新建虚拟环境,并激活进入deeplearning虚拟环境中。
bash 复制代码
conda create -n deeplearning python=3.11 -y
 conda activate deeplearning
  1. cd 到项目中根据项目README.md,安装项目依赖的库:pip install -e ".[torch,metrics]";等待安装结束;

  2. 根据README.md说明,在Windows环境下,还需要安装预编译的 bitsandbytes 库,支持 CUDA 11.1 到 12.2, 请根据自己的 CUDA 版本情况选择适合的发布版本

bash 复制代码
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
  1. 到此,基本根据README.md中说明,已经安装好必备的库,启动项目时候需要啥再进一步安装,具体可以参考README.md中来搭建本地大模型开发训练环境。

启动项目

  1. LLaMA Board 可视化微调(由 Gradio 驱动):llamafactory-cli webui,(也可以执行命令:python src/webui.py)顺利的话会在浏览器弹出如下界面,表示启动成功。
  1. 注意一下,需要把梯子卸了,要不执行启动项目命令,无法访问,可能在有梯子的条件下需要配置一些东西,没仔细研究。

界面说明

  1. 设置语言,可以选择中文

  2. 选择模型名称,主流的开源的模型都有。

  3. 模型地址:

  4. 微调配置:

相关推荐
-Nemophilist-20 分钟前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
成富1 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
CSDN云计算1 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森1 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing11231 小时前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子1 小时前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing2 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
黄焖鸡能干四碗2 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
2 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
ctrey_2 小时前
2024-11-4 学习人工智能的Day21 openCV(3)
人工智能·opencv·学习