window 环境安装llama

1 、 Download CMake

解压后,编辑环境变量 Path 中 增加

D:\project\llama\cmake-4.2.3-windows-x86_64\cmake-4.2.3-windows-x86_64\bin

1、步骤 1:在构建机编译(带 VS2022)

llama.cpp 是 C/C++ 项目,Windows 上默认使用 MSVC(Microsoft Visual C++) 编译器:

  • build.bat 脚本依赖 cl.exe(MSVC 编译器)
  • 需要 Windows SDK 和 C++ 运行时库头文件

适用于 Windows、Mac 和 Linux 的 Visual Studio 和 VS Code 下载

git clone https://github.com/ggerganov/llama.cpp

cd llama.cpp

下载 ninja

Releases · ninja-build/ninja

加到环境变量 Path中,

在 CMD 中运行 vcvars64.bat,再启动 PowerShell

🔧 操作步骤如下:
  1. 关闭当前 PowerShell
  2. 按下 Win + R,输入 cmd,回车 → 打开 命令提示符(CMD)
  3. 在 CMD 中运行以下命令:

call "D:\Program Files\Microsoft Visual Studio\18\Community\VC\Auxiliary\Build\vcvars64.bat"

  1. 在同一 CMD 窗口中,启动 PowerShell:

    1. 检查 cl.exe

    cl /?

    2. 检查 rc.exe

    rc /?

    3. 检查 LIB 路径是否包含 Windows SDK

    $env:LIB -split ';' | Select-String -Pattern "Windows Kits.*x64"

    4. 测试编译一个小程序

    echo 'int main(){return 0;}' > test.c
    cl test.c
    dir test.exe # 应该存在!

如果 test.exe 成功生成,说明 编译器、链接器、SDK 全部正常!

复制代码
# 进入项目目录
cd D:\project\llama\llama.cpp

# 清理旧构建
Remove-Item build-ninja -Recurse -Force

# 创建新构建目录
mkdir build-ninja
cd build-ninja

# 配置 CMake
cmake .. -G Ninja -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=OFF

# 编译
cmake --build .

参考:Windows 环境下 llama.cpp 编译 + Qwen 模型本地部署全指南-CSDN博客

下载 qwen2.5-7b-instruct-1m-q4_k_m.gguf

启动服务:

复制代码
:: 1. 打开 CMD
:: 2. 运行以下命令
cd /d D:\project\llama\llama.cpp\build-ninja\bin
chcp 65001
llama-server.exe -m D:\models\qwen2.5-7b-instruct-1m-q4_k_m.gguf --port 11433 -c 8192 --threads 6

llama.cpp - AI Chat Interface

在浏览器中打开:

后台运行的命令如下 在cmd中打开:

复制代码
cd /d D:\project\llama\llama.cpp\build-ninja\bin && chcp 65001 >nul && start /min cmd /c "llama-server.exe -m D:\models\qwen2.5-7b-instruct-1m-q4_k_m.gguf --host 0.0.0.0 --port 11433 -c 4096 --threads 6 >> D:\llama.log 2>&1"
相关推荐
renzao_ai3 天前
本地 35B 大模型部署实战:Ollama 跑 Ornith-35B 全流程
python·llama·免费ai大模型
Είναι η κοπέλα3 天前
本地大模型部署完全指南:Ollama / vLLM / llama.cpp / MLX 四大引擎横评与选型实战
macos·llama·vllm
小饕3 天前
RK3588 NPU 跑大模型实测:rknn-llm 解码 25.9 tok/s,是 llama.cpp 的 4 倍!附三天完整踩坑记录
人工智能·机器人·llama
一航jason3 天前
Android平台推理框架及试用场景模型对比
android·人工智能·ai·架构·ai编程·llama
一航jason3 天前
Android 端侧大模型推理框架对比
android·人工智能·ai·ai编程·llama·ai-native
零依赖极客4 天前
Day 8·1 自注意力机制:Q·K^T/softmax/V的在线计算
c语言·arm开发·人工智能·llama
微软技术分享6 天前
LLama-Factory 实现大模型LoRA-SFT微调指南
llama
七牛云行业应用7 天前
OpenCode 跑本地 Llama:编程 Agent 接入本地大模型的完整思路
人工智能·ai编程·llama
一航jason8 天前
GPU 推荐用吗?——8295 上 Adreno 695 的现实评估
人工智能·ai·ai编程·llama·ai-native
小饕9 天前
llama.cpp 参数调优指南:Jetson 8GB 实战手记
人工智能·llama·大模型端侧部署