【环境安装】安装LLaMA-Factory

【机器背景说明】Linux-Centos7;显卡驱动:Driver Version: 460.106.00;Tesla P40 * 2

【目标环境说明】

torch==1.13.1+cu116

llamafactory==0.9.2.dev0

1.CUDA11.6软件安装

CUDA11.6软件有两种安装方式,一个是直接安装到Pip环境中、一种是下载到本地安装

1.1在Pip环境里直接安装(推荐)

此方法优点:省事不需要通过环境变量来控制cuda版本;缺点:占用空间更大,多个环境无法复用同个版本。安装方法直接敲下面命令:

bash 复制代码
pip install nvidia-cudnn-cu11==8.5.0.96 -i  https://mirrors.aliyun.com/pypi/simple

1.2在系统里安装

此部分方法是在NVIDIA中下载CUDA软件,然后安装到本地,如果是Linux通过bashrc下面绑定:

bash 复制代码
export PATH=/usr/local/cuda-11.6/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64:$LD_LIBRARY_PATH

附CUDA下载地址:CUDA Toolkit Archive | NVIDIA Developer

2.安装LLaMA-Factory

2.1安装torch==1.13.1+cu116

可以直接按照官网的安装,网速快慢可以自己先登陆url看看下载速度

bash 复制代码
pip install torch==1.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

或者:

直接去https://download.pytorch.org/whl/torch/下载torch==1.13.1+cu116,然后pip install对应的包

2.2安装LLaMA-Factory

LLaMA-Factory地址:,安装的是0.9.2.dev0版本,进本地,然后按官网的教程,先进下载目录,在setup.py同级目录敲下面命令:

bash 复制代码
pip install -e ".[torch,metrics]" -i https://mirrors.aliyun.com/pypi/simple

等待,安装完应该没太大问题了。

最后如果本文对你有些许帮助,赠人玫瑰手有余香,谢谢`

相关推荐
火山引擎开发者社区5 小时前
火山引擎发布《企业级 ArkClaw 安全白皮书》
人工智能
阿里云大数据AI技术5 小时前
Hologres AI Function 文本分类实战:从提示词设计到 KV-Cache 调优,全程 SQL 搞定
人工智能·sql
code_pgf6 小时前
AI-Agent记忆机制分析
大数据·人工智能
阿拉斯攀登7 小时前
安全与可控性:输出校验、权限控制
人工智能·chatgpt·agent·memory·claude·知识库·向量数据库
冬奇Lab7 小时前
每日一个开源项目(第152篇):SAG - 用 SQL JOIN 代替 PageRank 做多跳 RAG 检索
人工智能·开源
冬奇Lab7 小时前
Workflow 系列(09):主流框架对比——Prompt-based、LangGraph、Temporal、n8n 如何选
人工智能·工作流引擎
程序员老猫8 小时前
vide coding 个人产品,那就从博客开始吧
人工智能·程序员·全栈
geo搜搜果数据8 小时前
实测5大AI平台品牌排名:复现GEO监测流程
人工智能·langchain·搜搜果