Jetson 上 OpenClaw + Ollama + llama.cpp 的联动配置模板部署大模型

code_pgf2026-03-25 10:25

Jetson 上我建议的联动方式是：OpenClaw -> Ollama（主模型，原生 API）+ llama.cpp（备用/低资源模型，OpenAI 兼容 API）+ Ollama embeddings（memorySearch）。 这样做的原因是，OpenClaw 官方把 Ollama + openclaw onboard 作为最低冲突的本地方案；同时它也支持把 vLLM / LiteLLM / 自定义 OpenAI-compatible 本地代理 作为额外 provider 接进来。Ollama 这边，OpenClaw 明确推荐走原生 http://host:11434 ，不要给它配 /v1，否则工具调用会变差；而 llama.cpp 的 llama-server 则原生提供 OpenAI-compatible chat completions / responses / embeddings 路由，适合当第二套本地后端。([OpenClaw][1])

另外，OpenClaw 的本地模型指南也明确提醒：它默认期待大上下文和较强的提示注入防护 ，小硬件上的强量化/小模型更容易丢上下文或降低安全裕量。所以在 Jetson Orin NX 16G 上，更稳的策略是把 Ollama 设为主模型 ，把 llama.cpp 设为 fallback 或专用模型，而不是反过来。([OpenClaw][1])

下面给你一份推荐版模板 ：

特点是 Ollama 走自动发现 ，你不用手工维护本地模型清单；llama.cpp 作为一个显式自定义 provider 接入；memorySearch 用 Ollama 的 /api/embeddings。OpenClaw 的文档说明，只要设置了 OLLAMA_API_KEY 且没有显式写 models.providers.ollama，它就会从本地 http://127.0.0.1:11434 自动发现模型 。memorySearch.provider = "ollama" 也是官方支持的，只是不会自动选中，所以这里显式打开。([OpenClaw][2])

先准备环境变量：

bash 复制代码 
export OLLAMA_API_KEY="ollama-local"
export OPENCLAW_GATEWAY_TOKEN="replace-with-a-long-random-token"

把下面保存为 ~/.openclaw/openclaw.json：

json5 复制代码 
{
  identity: {
    name: "Jetson-Claw",
    theme: "local edge agent",
    emoji: "🦙",
  },

  gateway: {
    bind: "loopback",
    port: 18789,
    auth: {
      token: "${OPENCLAW_GATEWAY_TOKEN}",
    },
  },

  agent: {
    workspace: "~/.openclaw/workspace",
  },

  agents: {
    defaults: {
      model: {
        // 主模型：走 Ollama（自动发现）
        primary: "ollama/qwen2.5:7b-instruct",

        // 备用：先退到 llama.cpp，再退到另一个 Ollama 小模型
        fallbacks: [
          "llamacpp/qwen2.5-7b-instruct-gguf",
          "ollama/llama3.2:3b",
        ],
      },

      models: {
        "ollama/qwen2.5:7b-instruct": { alias: "Ollama 主模型" },
        "llamacpp/qwen2.5-7b-instruct-gguf": { alias: "llama.cpp 备用" },
        "ollama/llama3.2:3b": { alias: "Ollama 小模型" },
      },

      memorySearch: {
        enabled: true,

        // 用 Ollama embeddings，而不是 OpenClaw 的 local(node-llama-cpp) 模式
        provider: "ollama",

        // 换成你本机实际装好的 embedding 模型
        model: "YOUR_OLLAMA_EMBED_MODEL",

        // Jetson 上先不要再级联更多 embedding fallback，保持简单
        fallback: "none",

        cache: {
          enabled: true,
          maxEntries: 50000,
        },

        sync: {
          watch: true,
        },
      },
    },
  },

  models: {
    // 保留合并模式，未来你还可以叠加云端 provider
    mode: "merge",

    providers: {
      // llama.cpp 作为自定义 OpenAI-compatible provider
      llamacpp: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "llama-local",
        api: "openai-completions",

        models: [
          {
            id: "qwen2.5-7b-instruct-gguf",
            name: "Qwen2.5 7B Instruct GGUF",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 4096,
            maxTokens: 1024,
          },
        ],
      },
    },
  },
}

这个模板的关键点有三个：

第一，Ollama 不写 models.providers.ollama 。因为官方文档说，一旦你显式写了 models.providers.ollama，自动发现会被关闭，你就得自己维护模型列表；不写则会自动从本地 Ollama 实例发现模型。([OpenClaw][2])

第二，llama.cpp 走 /v1，并用 api: "openai-completions" 。OpenClaw 官方对"其他 OpenAI-compatible 本地代理"给的标准接法，就是 models.providers.<id> + baseUrl + api + models 这一套；而 llama.cpp 官方文档确认 llama-server 提供 OpenAI-compatible 路由。([OpenClaw][1])

第三，memorySearch 用 Ollama，不用 local 。因为 OpenClaw 文档里写得很清楚：memorySearch.provider = "local" 走的是 node-llama-cpp ，可能需要额外的 pnpm approve-builds / pnpm rebuild；而 memorySearch.provider = "ollama" 是官方支持的本地/self-hosted embeddings 路径，更适合先把 Jetson 跑稳。([OpenClaw][3])

启动顺序

先起 Ollama。Ollama 官方 API 默认就在 http://localhost:11434/api。 ([Ollama Docs][4])

bash 复制代码 
ollama serve
ollama list

然后起 llama.cpp：

bash 复制代码 
~/src/llama.cpp/build/bin/llama-server \
  -m ~/models/base/model.gguf \
  --host 127.0.0.1 \
  --port 8080 \
  -c 4096 \
  -np 1 \
  -ctk q8_0 \
  -ctv q8_0

再检查两个后端：

bash 复制代码 
curl http://127.0.0.1:11434/api/tags
curl http://127.0.0.1:8080/v1/models

最后让 OpenClaw 读配置：

bash 复制代码 
openclaw gateway restart
openclaw models list
openclaw health
openclaw gateway status

如果你想把 Ollama 也改成"显式配置"

只有在这几种情况下才建议这么做：

你要连远程 Ollama 、你想强制指定 contextWindow/maxTokens 、或者你想完全手工管模型列表 。官方文档明确说，远程 Ollama 时应使用 baseUrl: "http://host:11434"，不要加 /v1 ，并把 api 设成 "ollama" 以保证原生工具调用行为。([OpenClaw][2])

对应模板是：

json5 复制代码 
{
  models: {
    mode: "merge",
    providers: {
      ollama: {
        baseUrl: "http://127.0.0.1:11434",
        apiKey: "${OLLAMA_API_KEY}",
        api: "ollama",
        models: [
          {
            id: "qwen2.5:7b-instruct",
            name: "Qwen2.5 7B Instruct",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 8192,
            maxTokens: 2048,
          },
          {
            id: "llama3.2:3b",
            name: "Llama 3.2 3B",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 8192,
            maxTokens: 2048,
          },
        ],
      },
    },
  },
}

远程控制这台 Jetson 的模板

OpenClaw 官方建议把 Gateway 绑在 loopback ，然后通过 SSH 隧道 从笔记本连进去；默认网关端口是 18789 。如果你希望本地电脑上的 OpenClaw CLI 默认连这台 Jetson，可以把 gateway.mode: "remote" 和 gateway.remote.url/token 写进去。([OpenClaw][5])

先在你的笔记本上开隧道：

bash 复制代码 
ssh -N -L 18789:127.0.0.1:18789 user@jetson-host

然后在本地电脑的 OpenClaw 配置里加：

json5 复制代码 
{
  gateway: {
    mode: "remote",
    remote: {
      url: "ws://127.0.0.1:18789",
      token: "your-token",
    },
  },
}

这样之后本地的 openclaw health、openclaw status 之类就会默认走这个远程 Gateway。([OpenClaw][5])

两个最容易踩的坑

不要把 OpenClaw 连 Ollama 时写成 http://127.0.0.1:11434/v1。 官方文档明确说，这会切到 OpenAI-compatible 模式，工具调用会变得不可靠，模型可能把工具 JSON 当纯文本吐出来。([OpenClaw][2])

不要一开始就把 memorySearch.provider 设成 local。 这条路走的是 node-llama-cpp，本地编译和依赖更重；Jetson 上先用 ollama embeddings 更省心。([OpenClaw][3])

后面会陆续加入openclaw gateway安全模式下与ros联动配置。

参考链接：

1\]: https://docs.openclaw.ai/gateway/local-models "Local Models - OpenClaw" \[2\]: https://docs.openclaw.ai/providers/ollama "Ollama - OpenClaw" \[3\]: https://docs.openclaw.ai/reference/memory-config "Memory configuration reference - OpenClaw" \[4\]: https://docs.ollama.com/api/introduction "Introduction - Ollama" \[5\]: https://docs.openclaw.ai/gateway/remote "Remote Access - OpenClaw"

相关推荐
波动几何7 分钟前
通用内容构成方法论技能compose-methods
人工智能
bryant_meng14 分钟前
【Hung-yi Lee】《Introduction to Generative Artificial Intelligence》（9）
人工智能·llm·aigc
2201_7568473321 分钟前
Golang如何处理JSON空值null_Golang JSON空值处理教程【精通】
jvm·数据库·python
我登哥MVP21 分钟前
【Spring6笔记】 - 11 - JDBCTemplate
java·数据库·spring boot·mysql·spring
用户5853437884322 分钟前
Harness Engineering：从 Prompt、Context 到 Agent 系统工程
人工智能·后端
春风化作秋雨26 分钟前
从长方形面积到微积分：一场“累积”的思维革命
人工智能·数据
克里斯蒂亚诺·罗纳尔达27 分钟前
智能体学习17——模型上下文协议（MCP）
人工智能·学习·ai
captain_AIouo27 分钟前
Captain AI：智能运营破局——OZON商家增长引擎
大数据·人工智能·经验分享·aigc
YuanDaima204830 分钟前
双指针基础原理与题目说明
数据结构·人工智能·python·算法·leetcode·手撕代码
热门推荐
012026年4月技术前沿：AI大模型爆发、智能体革命与量子安全新纪元02GitHub 镜像站点03一周AI热点速览（2026.03.31-04.06）：GPT-6曝光、谷歌开源Gemma 4、资本狂飙与模型军备竞赛04GPT-6核心能力解析及与现有主流大模型对比05基于 Docker 部署 Hermes Agent 并接入飞书机器人的完整指南06零成本！Ollama本地部署国产大模型全指南（支持Kimi-K2.5/GLM-5/Qwen，新手秒上手）07免费！不限量！用opencode接入英伟达（NVIDIA）大模型，轻松打造你的 AI 编程助手08AI Weekly | 2026年4月第二周 · GitHub热门项目与AI发展趋势深度解析09从限购到畅通：GLM-5.1 Coding Plan接入攻略10Oh My Codex 快速使用指南