安装指南:LLaMA Factory、AutoGPTQ 和 vllm

安装指南:LLaMA Factory、AutoGPTQ 和 vllm

在本文中,我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm,这些工具在大型语言模型(LLMs)和视觉语言模型(VLMs)的微调和量化中非常有用。我们将逐步指导你完成整个安装过程,确保你能够顺利开始使用这些强大的工具。

1. 安装 LLaMA Factory

LLaMA Factory 是一个统一高效的微调框架,支持 100 多种大型语言模型和视觉语言模型。以下是安装 LLaMA Factory 的步骤:

步骤 1:克隆 LLaMA Factory 仓库

打开终端或命令提示符,运行以下命令:

bash复制

复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

步骤 2:安装依赖

使用以下命令安装 LLaMA Factory 的依赖:

bash复制

复制代码
pip install -e ".[torch,metrics]"

这将安装 PyTorch 和评估指标相关的依赖。如果你需要其他额外的依赖,可以使用以下命令:

bash复制

复制代码
pip install -e ".[torch,metrics,deepspeed,liger-kernel,bitsandbytes]"

2. 安装 AutoGPTQ

AutoGPTQ 是一个基于 GPTQ 算法的易于使用的 LLM 量化包。以下是安装 AutoGPTQ 的步骤:

步骤 1:克隆 AutoGPTQ 仓库

打开终端或命令提示符,运行以下命令:

bash复制

复制代码
git clone https://github.com/PanQiWei/AutoGPTQ.git
cd AutoGPTQ

步骤 2:安装依赖

使用以下命令安装 AutoGPTQ 的依赖:

bash复制

复制代码
pip install .

如果你需要使用 Triton 后端,可以使用以下命令:

bash复制

复制代码
pip install auto-gptq[triton] --no-build-isolation

注意事项

  • CUDA 支持:确保你的系统支持 CUDA,并且安装了适当的 CUDA 版本。

  • ROCm 支持 :如果你使用的是 AMD GPU,可以设置 ROCM_VERSION 环境变量来安装 ROCm 支持。

  • Intel® Gaudi® 2 支持 :如果你使用的是 Intel Gaudi 2 HPUs,需要设置 BUILD_CUDA_EXT=0 环境变量。

3. 安装 vllm

vllm 是一个用于高效推理的库,支持多种量化方法。以下是安装 vllm 的步骤:

步骤 1:安装 vllm

使用以下命令安装 vllm:

bash复制

复制代码
pip install "vllm>=0.4.3,<=0.6.5" -i https://pypi.tuna.tsinghua.edu.cn/simple

这个命令会从清华大学的镜像源安装 vllm,确保下载速度更快。

步骤 2:验证安装

安装完成后,可以使用以下命令验证 vllm 是否安装成功:

bash复制

复制代码
pip show vllm

4. 常见问题及解决方案

问题 1:依赖冲突

如果你遇到依赖冲突问题,可以尝试以下命令:

bash复制

复制代码
pip install --no-deps -e .

问题 2:CUDA 版本不兼容

确保你的 CUDA 版本与 vllm 和 AutoGPTQ 的要求一致。如果版本不兼容,可以尝试安装不同版本的 CUDA 或者使用其他镜像源。

问题 3:安装失败

如果安装失败,可以尝试以下步骤:

  1. 清理缓存

    bash复制

    复制代码
    pip cache purge
  2. 重新安装

    bash复制

    复制代码
    pip install --upgrade pip
    pip install "vllm>=0.4.3,<=0.6.5" -i https://pypi.tuna.tsinghua.edu.cn/simple

5. 结论

通过以上步骤,你应该能够成功安装 LLaMA Factory、AutoGPTQ 和 vllm。这些工具将帮助你在大型语言模型和视觉语言模型的微调和量化方面取得更好的效果。如果你在安装过程中遇到任何问题,可以参考官方文档或在相关社区寻求帮助。

希望本文对你有所帮助!如果有任何问题或建议,欢迎随时提出。

相关推荐
袁庭新16 小时前
袁庭新解读国务院发布的《国务院关于深入实施“人工智能+”行动的意见》文件
人工智能·agent
开心-开心急了17 小时前
PySide6实时检测剪贴板(QClipboard)并更新文本
python·ui·pyqt
bot55566617 小时前
“企业微信iPad协议”凌晨沉默实验:当群发接口只剩心跳声
算法
郝学胜-神的一滴17 小时前
深入理解 C++ 中的 `std::bind`:功能、用法与实践
开发语言·c++·算法·软件工程
却道天凉_好个秋17 小时前
深度学习(十三):向量化与矩阵化
人工智能·深度学习·矩阵·向量化
yzx99101317 小时前
低空物流自动驾驶机器人
人工智能·机器人·自动驾驶
努力学习的小廉17 小时前
我爱学算法之—— 模拟(上)
c++·算法
大模型铲屎官17 小时前
【数据结构与算法-Day 35】拓扑排序:从依赖关系到关键路径的完整解析
人工智能·python·深度学习·操作系统·数据结构与算法·关键路径·扩扑排序
Keying,,,,17 小时前
秋招算法记录 | 排序算法整理 | 直接选择、直接插入、冒泡、快排、希尔排序
数据结构·python·算法·排序算法
ChinaRainbowSea17 小时前
6. Advisor 对话拦截
java·人工智能·后端·spring·ai编程