LLaMA-Factory安装部署

一、环境安装准备

CUDA安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型,它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

  1. 保证当前 Linux 版本支持CUDA.在命令行中输入 ,应当看到类似的输出:
bash 复制代码
uname -m  && cat /etc/*release

2、检查是否安装了 gcc.在命令行中输入gcc--version,若没有安装,则使用apt-get install gcc进行安装。

3、在以下网址下载所需的 CUDA,这里我安装12.6版本。(我的显卡是Tesla P40)

从下面地址中选择合适的版本:CUDA Toolkit Archive | NVIDIA Developer

如果您之前安装过 CUDA(例如为12.1版本),需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行,可以直接:

bash 复制代码
sudo rm-r/usr/local/cuda-12.1/   
sudo apt clean && sudo apt autoclean

根据上面的选择下载包:

bash 复制代码
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run

选择install后进行安装,出现如下图所示,表明安装成功!

设置如下环境变量:

bash 复制代码
export CUDA_PATH=/usr/local/cuda-12.6
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64
export PATH=$CUDA_PATH/bin:$PATH

执行如下命令:nvcc -V 表明cuda安装成功

执行如下命令:nvidia-smi ,表明驱动是正常的。

Anaconda安装(略)

使用conda 创建虚拟环境

bash 复制代码
conda create -n llama-factory  python=3.10

切换到llama-factory环境中

bash 复制代码
source activate llama-factory

二、LLaMA-Factory安装

从源码安装

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

安装校验

完成安装后,可以通过使用 1lamafactory-cli version 来快速校验安装是否成功

如果您能成功看到类似下面的界面,就说明安装成功了

高级选项

QLoRA

如果您想启用量化 LORA(QLORA),请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。地址如下:https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/

FlashAttention-2

如果您要在 Windows 平台上启用 FlashAttention-2,请根据您的 CUDA 版本选择适当的 fash-attention 发行版本。地址如下:https://github.com/kingbri1/flash-attention/releases

相关推荐
码码哈哈爱分享5 分钟前
Cursor替代品:亚马逊出品,Kiro免费使用Claude Sonnet4.0一款更注重流程感的 AI IDE
人工智能·ai编程
roman_日积跬步-终至千里8 分钟前
【深度学习】深度学习的四个核心步骤:从房价预测看机器学习本质
人工智能·深度学习·机器学习
Gyoku Mint8 分钟前
入门概述(面试常问)
深度学习·学习·机器学习
wwww.bo11 分钟前
机器学习(1)
人工智能·机器学习
CV实验室17 分钟前
CVPR 2025 | 北大团队SLAM3R:单目RGB长视频实时重建,精度效率双杀!
人工智能·计算机视觉·论文·音视频
MARS_AI_30 分钟前
云蝠智能 VoiceAgent:重构物流售后场景的智能化引擎
人工智能·自然语言处理·重构·交互·信息与通信
SugarPPig1 小时前
TensorFlow 和 Transformer 的关系
人工智能·tensorflow·transformer
极造数字1 小时前
深度剖析MES/MOM系统架构:功能模块与核心优势解析
大数据·人工智能·物联网·系统架构·制造
AI 嗯啦2 小时前
计算机视觉--opencv(代码详细教程)(二)
人工智能·opencv·计算机视觉
Moshow郑锴2 小时前
什么是主成分分析(PCA)和数据降维
人工智能·主成分分析·数据降维