本地部署模型 llama + opencode + Qwen3.8-32b

原文地址：https://www.rendering.me/blog/IMhuEG

本文意在本地部署大模型以及Agent，并打通整个流程；

环境：Windows11 + RTX4090

下载

Llama.cpp 下载

在 Github 查看最新 Release，Github地址，然后根据自己的平台进行文件下载，我是 Windows + Nvida 显卡，因此选择 Windows x64 CUDA 12 构建及对应 CUDA DLL；

文件	用途	下载
llama-b11669-bin-win-cuda-12.4-x64.zip	llama.cpp Windows CUDA 主程序，约 267MB	点击下载
cudart-llama-bin-win-cuda-12.4-x64.zip	配套 CUDA DLL，约 391MB	点击下载

下载后，将两个压缩包解压到同一个目录下边，需要确保 llama-server.exe 和配套 DLL 位于该目录，然后运行：

powershell 复制代码

Set-Location D:\LocalAI\llama.cpp
.\llama-server.exe --version
.\llama-server.exe --list-devices

第二条能列出 RTX 4090 / CUDA，那么就表示成功了。

错误处理：

问题	处理
缺少 `cublas`、`cudart` 等 DLL	重新检查配套 CUDA DLL 是否解压到正确位置
缺少 `VCRUNTIME140` / `MSVCP140`	安装微软 VC++ x64 运行库
CUDA 驱动不兼容	更新 NVIDIA 驱动，再重启
仅识别 CPU	检查是否下载了 CUDA 构建、相关 DLL 是否完整

opencode 安装

opencode 推荐用 node 直接安装就好，其它方式可以直接查看官网，点击跳转。

执行命令：

powershell 复制代码

npm install -g opencode-ai

然后再执行：

powershell 复制代码

opencode

显示出如下界面就表示成功。（使用 exit 退出）。

Qwen模型下载

直接到 HuggingFace 官网下载，点击跳转。

然后选择自己需要的量化版本就好，这里我选择下载：Qwen3.8-27B-UD-Q4_K_M.gguf

启动模型

创建启动脚本

新建一个 start-qwen.ps1 脚本，然后再里边填充一下内容：

powershell 复制代码

$serverExe = "<你的Llama安装位置>\llama-server.exe"
$modelFile = "<你的模型位置>\Qwen3.8-27B-UD-Q4_K_M.gguf"

$ErrorActionPreference = "Stop"

if (-not (Test-Path -LiteralPath $serverExe)) {
    throw "Server executable not found: $serverExe"
}

if (-not (Test-Path -LiteralPath $modelFile)) {
    throw "Model file not found: $modelFile"
}

$templateOptions = @{
    enable_thinking = $false
}

$env:LLAMA_ARG_CHAT_TEMPLATE_KWARGS = (
    $templateOptions | ConvertTo-Json -Compress
)

$serverArgs = @(
    "--model", $modelFile,
    "--alias", "qwen-local",
    "--host", "127.0.0.1",
    "--port", "8080",
    "--n-gpu-layers", "99",
    "--ctx-size", "16384",
    "--parallel", "1",
    "--batch-size", "512",
    "--ubatch-size", "128",
    "--flash-attn", "on",
    "--jinja"
)

Set-Location -LiteralPath (Split-Path -Parent $serverExe)

& $serverExe @serverArgs

基本配置：

参数	设置	目的
`--alias`	`qwen-local`	固定 API 模型名，后续换文件时容易维护
`--host`	`127.0.0.1`	本机访问
`--n-gpu-layers`	GPU layers 99	尽可能把模型层卸载到 GPU
`--ctx-size`	上下文 16384	先验证兼容性与显存
`--parallel`	单并发	给单张显卡留出余量
	关闭思考	先验证正文和工具调用
`--jinja`	Jinja	使用模型自带模板及工具调用解析

具体参数可以查看 Llama 文档：点击跳转

先本地启动验证：需要将脚本地址修改为你自己的目录

powershell 复制代码

powershell.exe -NoProfile -ExecutionPolicy Bypass -File D:\LocalAI\scripts\start-qwen.ps1

配置opencode

在项目目录下创建 opencode.json：

json 复制代码

{
  "$schema": "https://opencode.ai/config.json",
  "enabled_providers": ["local"],
  "model": "local/qwen-local",
  "small_model": "local/qwen-local",
  "share": "disabled",
  "provider": {
    "local": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Local llama.cpp",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1",
        "apiKey": "local"
      },
      "models": {
        "qwen-local": {
          "name": "Qwen Local",
          "limit": {
            "context": 16384,
            "output": 4096
          }
        }
      }
    }
  }
}

这里：

local 是供应商 ID。
qwen-local 必须与启动脚本中的 --alias 一致。
small_model 同样指向本地，供辅助任务使用。
上下文先与服务端保持一致。
本地服务未启用鉴权，local 是占位字符串。

这个配置是按官方 llama.cpp 接入示例调整，使用 Chat Completions 兼容适配器。官方文档

然后启动，首次安装依赖、检查更新等行为仍可能需要联网。

powershell 复制代码

Set-Location D:\LocalAI\projects\novel
opencode

启动后，首先选择模型：

复制代码

/models

确认选中 Local llama.cpp 下的模型。需要写文件时，使用 Build 模式；Plan 模式用于分析规划。

到这里，基本就配置完成了，可以畅想本地Agent和模型了。