windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤(以及遇到的坑):

如果你要使用CUDA,请确保已安装。

1.安装 最新的 cmake, git, anaconda, pip 配置pytorch环境

2.git clone https://github.com/ggerganov/llama.cpp.git

  1. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

  1. CMake"cmake is not able to compile a simple test program"错误

解决方法 修改文件, 屏蔽掉 cmake 报警

  1. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

6.prerequirements配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成,编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表!把这些文件复制到llama.cpp主目录。

相关推荐
樱花的浪漫2 小时前
大模型推理框架基础概述
人工智能·算法·机器学习·语言模型·自然语言处理
超级晒盐人4 小时前
归雁思维:解锁自然规律与人类智慧的桥梁
经验分享·语言模型·学习方法·微信公众平台·教育电商
s1ckrain17 小时前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全
UQI-LIUWJ1 天前
论文笔记:Tuning Language Models by Proxy
论文阅读·人工智能·语言模型
茫茫人海一粒沙1 天前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
音元系统1 天前
五度标调法调域统计分析工具
语言模型·自然语言处理·语音识别·输入法·语音分类
EulerBlind2 天前
【运维】SGLang 安装指南
运维·人工智能·语言模型
我不是大佬zvj2 天前
解决使用vscode连接服务器出现“正在下载 VS Code 服务器...”
语言模型
ReinaXue2 天前
大模型【进阶】(五):低秩适配矩阵LORA的深度认识
人工智能·深度学习·神经网络·语言模型·自然语言处理·transformer
静心问道2 天前
BitDistiller:通过自蒸馏释放 Sub-4-Bit 大语言模型的潜力
人工智能·语言模型·模型加速·ai技术应用