LLaMA-Factory安装部署

一、环境安装准备

CUDA安装

CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型,它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA

  1. 保证当前 Linux 版本支持CUDA.在命令行中输入 ,应当看到类似的输出:
bash 复制代码
uname -m  && cat /etc/*release

2、检查是否安装了 gcc.在命令行中输入gcc--version,若没有安装,则使用apt-get install gcc进行安装。

3、在以下网址下载所需的 CUDA,这里我安装12.6版本。(我的显卡是Tesla P40)

从下面地址中选择合适的版本:CUDA Toolkit Archive | NVIDIA Developer

如果您之前安装过 CUDA(例如为12.1版本),需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行,可以直接:

bash 复制代码
sudo rm-r/usr/local/cuda-12.1/   
sudo apt clean && sudo apt autoclean

根据上面的选择下载包:

bash 复制代码
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run

选择install后进行安装,出现如下图所示,表明安装成功!

设置如下环境变量:

bash 复制代码
export CUDA_PATH=/usr/local/cuda-12.6
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64
export PATH=$CUDA_PATH/bin:$PATH

执行如下命令:nvcc -V 表明cuda安装成功

执行如下命令:nvidia-smi ,表明驱动是正常的。

Anaconda安装(略)

使用conda 创建虚拟环境

bash 复制代码
conda create -n llama-factory  python=3.10

切换到llama-factory环境中

bash 复制代码
source activate llama-factory

二、LLaMA-Factory安装

从源码安装

bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation

安装校验

完成安装后,可以通过使用 1lamafactory-cli version 来快速校验安装是否成功

如果您能成功看到类似下面的界面,就说明安装成功了

高级选项

QLoRA

如果您想启用量化 LORA(QLORA),请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。地址如下:https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/

FlashAttention-2

如果您要在 Windows 平台上启用 FlashAttention-2,请根据您的 CUDA 版本选择适当的 fash-attention 发行版本。地址如下:https://github.com/kingbri1/flash-attention/releases

相关推荐
昨日之日20063 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper5 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号6 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha6 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云6 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊6 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint6 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨6 小时前
zotero扩容
人工智能·笔记
大数据张老师6 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
AKAMAI6 小时前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算