Linux构建编译llama.cpp

1. 拉取项目

bash 复制代码
git clone https://github.com/ggml-org/llama.cpp.git

2.AMD显卡编译项目

-DAMDGPU_TARGETS=gfx1103 要改成自己型号的, 我的是780M显卡,是gfx1103

bash 复制代码
rm -rf build

cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1103 -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

3. NVIDIA显卡编译项目

bash 复制代码
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
相关推荐
空空dream13 小时前
07 | FastAPI + llama.cpp 接入 Langfuse监控Prompt请求
prompt·fastapi·llama
goodlook012317 小时前
opencode调用本地模型三
人工智能·llama
Imagination官方博客2 天前
PowerVR 上的 LLM 性能与加速
人工智能·架构·llama·gpu算力
空空dream2 天前
03 | 更新:Ollama 换成 llama.cpp构建更小的离线镜像
人工智能·语言模型·llama
Imagination官方博客2 天前
如何在 E 系列GPU上使用 llama.cpp 和 千问3.5 运行 OpenCode
软件构建·llama·gpu算力
阡陌数智5 天前
Llama 4 MoE 架构深度拆解:交替稀疏专家设计与生产环境推理落地实战
架构·llama
论文复现现场5 天前
8卡4090能跑70B吗?Llama-2显存预算、QLoRA与通信瓶颈
人工智能·深度学习·分布式训练·llama·显存·qlora·算家云
Vd7H20A75 天前
Windows 下用 llama.cpp 运行 Qwen3.8-27B 并开启 512K 上下文 完全指南
windows·llama
jason.zeng@15022076 天前
(六)Prompt 优化
python·ai·langchain·prompt·ai编程·llama
jason.zeng@15022076 天前
(八)现有架构上新增一个通用Excel导出工具
python·架构·langchain·excel·llama