Linux构建编译llama.cpp

1. 拉取项目

bash 复制代码
git clone https://github.com/ggml-org/llama.cpp.git

2.AMD显卡编译项目

-DAMDGPU_TARGETS=gfx1103 要改成自己型号的, 我的是780M显卡,是gfx1103

bash 复制代码
rm -rf build

cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1103 -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

3. NVIDIA显卡编译项目

bash 复制代码
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
相关推荐
维核科技2 天前
Llama 3.3 vs Qwen2.5 vs DeepSeek-R1
ai·私有化部署·llama·大模型部署·私有化大模型部署
AI78405 天前
开源模型改写AI格局:Llama、通义千问、Mistral如何挑战闭源巨头
人工智能·开源·llama
leoZ2315 天前
本地跑大模型实战(七):llama.cpp 性能调优,让推理更快更省
java·人工智能·spring·生成对抗网络·语言模型·自然语言处理·llama
leoZ2316 天前
实战复盘:用 Claude Code 从零搭一个 GitHub PR 统计工具
java·人工智能·python·深度学习·自然语言处理·github·llama
yagami_gagami6 天前
第四届黄河流域公安院校电子物证个人赛服务器取证
linux·服务器·网络·mysql·安全·docker·llama
不喝水的鱼儿7 天前
本地部署 260K 上下文 Qwen-3.6-35B-A3B 与 Ornith-1.0-35B 模型及 VSCode Copilot 参数调优记录
ide·vscode·语言模型·copilot·llama
(轻舟已过万重山)8 天前
第16章 主流开源模型选型:Qwen/LLaMA/GLM/Mistral 怎么选
人工智能·开源·llama
染指11108 天前
72.高级RAG-sql检索器
python·sql·mysql·llama·llamaindex·高级rag
孪生质数-10 天前
AI 应用实践篇——让大模型真正开始工作
linux·运维·服务器·人工智能·深度学习·语言模型·llama
刹那芳华199210 天前
基于 Docker 的 LLaMA-Factory 全流程部署指南
docker·容器·llama