win11编译llama_cpp_python cuda128 RTX30/40/50版本

Geforce 50xx系显卡最低支持cuda128,llama_cpp_python官方源只有cpu版本,没有cuda版本,所以自己基于0.3.5版本源码编译一个RTX 30xx/40xx/50xx版本。

1. 前置条件

  1. 访问https://developer.download.nvidia.cn/compute/cuda/12.8.0/local_installers/cuda_12.8.0_571.96_windows.exe安装cuda12.8 toolkit, 安装完成后在命令行输入"nvcc -V"确认如下信息:
bash 复制代码
Cuda compilation tools, release 12.8, V12.8.61
  1. 使用visual studio installer 安装visual studio 2022,工作负荷选择【使用c++的桌面开发】,安装完成后将"VC\Tools\MSVC\<版本号>\bin\Hostx64\x64 "对1应的路径加入环境变量

  2. 访问https://github.com/abetlen/llama-cpp-python/archive/refs/tags/v0.3.5-metal.tar.gz下载源码(国内镜像),下载后解压; 访问 https://github.com/ggml-org/llama.cpp/archive/refs/tags/b4831.tar.gz下载源码(国内镜像),下载后解压到 "llama_cpp_python\vendor\llama.cpp"

  3. 访问https://github.com/conda-forge/miniforge/releases/download/24.11.3-0/Miniforge3-Windows-x86_64.exe安装miniforge;

2. 编译

bash 复制代码
conda create llama_build
conda activate llama_build
conda install ccahce
pip install build wheel

set CMAKE_ARGS=-DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86;89;120

cd C:\llama_cpp_python
python -m build --wheel
相关推荐
Monkey的自我迭代15 分钟前
python线性回归:从原理到实战应用
开发语言·python·机器学习
2202_7567496936 分钟前
05 OpenCV--图像预处理之图像轮廓、直方图均衡化、模板匹配、霍夫变化、图像亮度变化、形态学变化
图像处理·人工智能·python·opencv·计算机视觉
费弗里1 小时前
Python全栈应用搭建神器magic-dash 0.4新版本介绍
python·dash
小乖兽技术2 小时前
C#开发基础之深入理解“集合遍历时不可修改”的异常背后的设计
开发语言·windows·c#
LiuYiCheng1234563 小时前
Python游戏开发:Pygame全面指南与实战
python·pygame
魔障阿Q3 小时前
华为310P3模型转换及python推理
人工智能·python·深度学习·yolo·计算机视觉·华为
gb42152873 小时前
负载均衡算法中的加权随机算法
windows·算法·负载均衡
未出道的小弟3 小时前
图形界面应用程序技术栈大全
windows
都叫我大帅哥4 小时前
决策树:从零开始的机器学习“算命大师”修炼手册
python·机器学习