windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤(以及遇到的坑):

如果你要使用CUDA,请确保已安装。

1.安装 最新的 cmake, git, anaconda, pip 配置pytorch环境

2.git clone https://github.com/ggerganov/llama.cpp.git

  1. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

  1. CMake"cmake is not able to compile a simple test program"错误

解决方法 修改文件, 屏蔽掉 cmake 报警

  1. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

6.prerequirements配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成,编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表!把这些文件复制到llama.cpp主目录。

相关推荐
SLY司赖2 小时前
大模型应用开发之LLM入门
语言模型·chatgpt·llm
Gsen28195 小时前
AI大模型从0到1记录学习 数据结构和算法 day20
数据结构·学习·算法·生成对抗网络·目标跟踪·语言模型·知识图谱
cmoaciopm6 小时前
Obsidian和Ollama大语言模型的交互过程
人工智能·语言模型
Jamence11 小时前
多模态大语言模型arxiv论文略读(三十九)
人工智能·语言模型·自然语言处理
古希腊掌管学习的神14 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
生信宝典15 小时前
Nature method: 生物研究中的语言模型入门指南
人工智能·语言模型·自然语言处理
三道杠卷胡16 小时前
【AI News | 20250424】每日AI进展
人工智能·pytorch·python·语言模型·github
硅谷秋水18 小时前
CoT-Drive:利用 LLM 和思维链提示实现自动驾驶的高效运动预测
人工智能·机器学习·语言模型·自动驾驶
硅谷秋水20 小时前
ORION:通过视觉-语言指令动作生成的一个整体端到端自动驾驶框架
人工智能·深度学习·机器学习·计算机视觉·语言模型·自动驾驶
努力犯错21 小时前
昆仑万维开源SkyReels-V2,解锁无限时长电影级创作,总分83.9%登顶V-Bench榜单
大数据·人工智能·语言模型·开源