windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤(以及遇到的坑):

如果你要使用CUDA,请确保已安装。

1.安装 最新的 cmake, git, anaconda, pip 配置pytorch环境

2.git clone https://github.com/ggerganov/llama.cpp.git

  1. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

  1. CMake"cmake is not able to compile a simple test program"错误

解决方法 修改文件, 屏蔽掉 cmake 报警

  1. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

6.prerequirements配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成,编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表!把这些文件复制到llama.cpp主目录。

相关推荐
墨绿色的摆渡人5 小时前
用 pytorch 从零开始创建大语言模型(三):编码注意力机制
人工智能·pytorch·语言模型
Toky丶6 小时前
【文献阅读】Vision-Language Models for Vision Tasks: A Survey
人工智能·语言模型·自然语言处理
Chaos_Wang_7 小时前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
硅谷秋水7 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
艾鹤10 小时前
ollama安装与使用
人工智能·llama
新加坡内哥谈技术10 小时前
大型语言模型Claude的“思维模式”最近被公开解剖
人工智能·语言模型·自然语言处理
果汁华1 天前
AI产品的基础设施:算法、数据与大语言模型
大数据·人工智能·语言模型
清易1 天前
windows大模型llamafactory微调
llama
AI.NET 极客圈1 天前
AI与.NET技术实操系列(三):在 .NET 中使用大语言模型(LLMs)
人工智能·语言模型·.net
xidianjiapei0011 天前
构建大语言模型应用:句子转换器(Sentence Transformers)(第三部分)
人工智能·语言模型·自然语言处理·llm·transformer