windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤(以及遇到的坑):

如果你要使用CUDA,请确保已安装。

1.安装 最新的 cmake, git, anaconda, pip 配置pytorch环境

2.git clone https://github.com/ggerganov/llama.cpp.git

  1. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

  1. CMake"cmake is not able to compile a simple test program"错误

解决方法 修改文件, 屏蔽掉 cmake 报警

  1. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

6.prerequirements配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成,编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表!把这些文件复制到llama.cpp主目录。

相关推荐
DeepSeek-大模型系统教程1 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
try2find6 小时前
安装llama-cpp-python踩坑记
开发语言·python·llama
静心问道8 小时前
STEP-BACK PROMPTING:退一步:通过抽象在大型语言模型中唤起推理能力
人工智能·语言模型·大模型
西西弗Sisyphus12 小时前
LLaMA-Factory 单卡后训练微调Qwen3完整脚本
微调·llama·llama-factory·后训练
顾道长生'12 小时前
(Arxiv-2024)自回归模型优于扩散:Llama用于可扩展的图像生成
计算机视觉·数据挖掘·llama·自回归模型·多模态生成与理解
MO2T12 小时前
使用 Flask 构建基于 Dify 的企业资金投向与客户分类评估系统
后端·python·语言模型·flask
静心问道14 小时前
APE:大语言模型具有人类水平的提示工程能力
人工智能·算法·语言模型·大模型
香宝的最强后援XD18 小时前
Cursor无限邮箱续费方法
语言模型·chatgpt·文心一言
静心问道19 小时前
SELF-INSTRUCT:使用自生成指令对齐语言模型
人工智能·语言模型·大模型
一ge科研小菜鸡1 天前
云原生环境下部署大语言模型服务:以 DeepSeek 为例的实战教程
人工智能·语言模型·自然语言处理