Linux构建编译llama.cpp

1. 拉取项目

bash 复制代码
git clone https://github.com/ggml-org/llama.cpp.git

2.AMD显卡编译项目

-DAMDGPU_TARGETS=gfx1103 要改成自己型号的, 我的是780M显卡,是gfx1103

bash 复制代码
rm -rf build

cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1103 -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

3. NVIDIA显卡编译项目

bash 复制代码
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
相关推荐
AI小百科10 天前
llama.cpp vs vLLM:深度解析与选型指南
llama·vllm
下班走回家12 天前
本地部署大模型的三种方式:Ollama vs vLLM vs llama.cpp
人工智能·llama·vllm
zhy2956314 天前
【DNN】基于llama.cpp的Qwen3-0.6B量化部署微调
人工智能·lora·dnn·llama·qwen3
kuokay15 天前
MLOps 与 AIOps 的核心概
人工智能·分布式·大模型·agent·llama
Trouville0115 天前
windows系统使用llama.cpp进行本地大模型部署
llama
棒棒的唐15 天前
windows 直接安装llama.cpp的方法
llama
troubles maker16 天前
LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
llm·nlp·llama·多模态
xyz_CDragon16 天前
把旧电脑变成AI算力:llama.cpp RPC 局域网分布式推理验证与实战
人工智能·分布式·python·rpc·llama
wengad16 天前
llama.cpp进行模型格式转换和量化
llama