LLaMA-Factory安装部署

一、环境安装准备

CUDA安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型,它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

  1. 保证当前 Linux 版本支持CUDA.在命令行中输入 ,应当看到类似的输出:
bash 复制代码
uname -m  && cat /etc/*release

2、检查是否安装了 gcc.在命令行中输入gcc--version,若没有安装,则使用apt-get install gcc进行安装。

3、在以下网址下载所需的 CUDA,这里我安装12.6版本。(我的显卡是Tesla P40)

从下面地址中选择合适的版本:CUDA Toolkit Archive | NVIDIA Developer

如果您之前安装过 CUDA(例如为12.1版本),需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行,可以直接:

bash 复制代码
sudo rm-r/usr/local/cuda-12.1/   
sudo apt clean && sudo apt autoclean

根据上面的选择下载包:

bash 复制代码
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run

选择install后进行安装,出现如下图所示,表明安装成功!

设置如下环境变量:

bash 复制代码
export CUDA_PATH=/usr/local/cuda-12.6
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64
export PATH=$CUDA_PATH/bin:$PATH

执行如下命令:nvcc -V 表明cuda安装成功

执行如下命令:nvidia-smi ,表明驱动是正常的。

Anaconda安装(略)

使用conda 创建虚拟环境

bash 复制代码
conda create -n llama-factory  python=3.10

切换到llama-factory环境中

bash 复制代码
source activate llama-factory

二、LLaMA-Factory安装

从源码安装

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

安装校验

完成安装后,可以通过使用 1lamafactory-cli version 来快速校验安装是否成功

如果您能成功看到类似下面的界面,就说明安装成功了

高级选项

QLoRA

如果您想启用量化 LORA(QLORA),请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。地址如下:https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/

FlashAttention-2

如果您要在 Windows 平台上启用 FlashAttention-2,请根据您的 CUDA 版本选择适当的 fash-attention 发行版本。地址如下:https://github.com/kingbri1/flash-attention/releases

相关推荐
HuggingFace1 小时前
Hugging Face 开源 HopeJR 机器臂!今天晚上直播带你深入技术核心
人工智能
SUPER52662 小时前
AI应用服务
人工智能
义薄云天us2 小时前
028_分布式部署架构
人工智能·分布式·架构·claude code
HuggingFace3 小时前
HF Papers 直播| AI for Science 专场
人工智能
机器视觉与AI3 小时前
半导体制造流程深度解析:外观缺陷检测的AI化路径与实践
人工智能·视觉检测·制造
批量小王子5 小时前
2025-07-15通过边缘线检测图像里的主体有没有出血
人工智能·opencv·计算机视觉
机器学习之心5 小时前
三种深度学习模型(LSTM、CNN-LSTM、贝叶斯优化的CNN-LSTM/BO-CNN-LSTM)对北半球光伏数据进行时间序列预测
深度学习·cnn·lstm·cnn-lstm·贝叶斯优化的cnn-lstm
技术猿188702783515 小时前
实现“micro 关键字搜索全覆盖商品”并通过 API 接口提供实时数据(一个方法)
开发语言·网络·python·深度学习·测试工具
zyhomepage6 小时前
科技的成就(六十九)
开发语言·网络·人工智能·科技·内容运营
停走的风6 小时前
(李宏毅)deep learning(五)--learning rate
人工智能·深度学习·机器学习