Ubuntu24.04安装ollama,基于GPU,对接openclaw

主要参考 https://zhuanlan.zhihu.com/p/2013622369059623797

首先是 ollama 的安装,让我折腾了很久,我安装成功了,但 ollama 死活就是运行在CPU上,不运行在GPU上,其实官方的安装方法是对的,就一条指令

复制代码
curl -fsSL https://ollama.com/install.sh | sh

但我不喜欢这个指令,因为你运行这个指令,它就会从网络上下载,下载的超级慢,而且一旦中断,就要从0开始下载,最后的方案是,我还是用这个脚本,但是我把这个脚本下载下来,然后扔给AI,让AI给我改了一下:首先要支持断点续传,如果下载,那么打印下载的url和下载到的本地目录,如果本地已经下载好了,那就直接使用,不再下载,即便是安装成功了,也要保留下载的文件。

就重新搞了这么一个脚本,手动执行这个脚本,装成功了,而且直接支持GPU

下面是对接openclaw, 我就不再说openclaw怎么安装了,直接用下面的命令修改openclaw的配置文件

复制代码
ollama launch openclaw --model qwen3:8b

因为我的GPU比较弱,所以我只能选择更弱的模型

复制代码
ollama launch openclaw --model llama3.2:1b

然后启动完会报一个错误,

复制代码
 ⚠️ Agent failed before reply: Model context window too small (8192 tokens). Minimum is 16000.

打开http://127.0.0.1:18789/config, raw,可以看到如下一段配置

复制代码
          {
            contextWindow: 131072,
            cost: {
              cacheRead: 0,
              cacheWrite: 0,
              input: 0,
              output: 0,
            },
            id: 'llama3.2:1b',
            input: [
              'text',
            ],
            name: 'llama3.2:1b',
          },

我会在上面的 name: 'llama3.2:1b',上面加一行

复制代码
            maxTokens: 18192,

然后退出上面的ollama launch openclaw --model llama3.2:1b命令,执行如下命令

复制代码
ollama run llama3.2:1b

当然,这里我们也重新执行openclaw

复制代码
openclaw gateway stop
openclaw gateway

这样openclaw的默认model就是 llama3.2:1b 了

相关推荐
美酒没故事°1 天前
Open WebUI安装指南。搭建自己的自托管 AI 平台
人工智能·windows·ai
云烟成雨TD1 天前
Spring AI Alibaba 1.x 系列【6】ReactAgent 同步执行 & 流式执行
java·人工智能·spring
AI攻城狮1 天前
用 Obsidian CLI + LLM 构建本地 RAG:让你的笔记真正「活」起来
人工智能·云原生·aigc
鸿乃江边鸟1 天前
Nanobot 从onboard启动命令来看个人助理Agent的实现
人工智能·ai
lpfasd1231 天前
基于Cloudflare生态的应用部署与开发全解
人工智能·agent·cloudflare
俞凡1 天前
DevOps 2.0:智能体如何接管故障修复和基础设施维护
人工智能
comedate1 天前
[OpenClaw] GLM 5 关于电影 - 人工智能 - 的思考
人工智能·电影评价
财迅通Ai1 天前
6000万吨产能承压 卫星化学迎来战略窗口期
大数据·人工智能·物联网·卫星化学
liliangcsdn1 天前
Agent Memory智能体记忆系统的示例分析
数据库·人工智能·全文检索
GISer_Jing1 天前
Page-agent MCP结构
前端·人工智能