OpenClaw使用前置准备：Ollama+OpenwebUI本地部署/API调用大模型

一、资源下载

docker拉取显卡驱动、ollama（模型部署）、openwebui（前端对话）镜像

复制代码

# 根据cuda版本修改
docker pull nvidia/cuda:xx.xx.x-cudnn-devel-ubuntu24.04

docker pull ollama/ollama
docker pull openwebui/openwebui

modelscope下载官方gguf格式模型，根据硬件显卡显存大小选择其中一种量化模式的模型即可。

复制代码

# 在安装了modelscope的python虚拟环境（venv）下运行
(venv)modelscope download --model Qwen/Qwen3-8B-GGUF xxx.gguf --local_dir ./dir

二、部署

1.启动ollama容器

在模型下载目录下创建docker-compose.yml文件，将下面启动内容文本编辑保存。

复制代码

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
      - .:/models
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  ollama_data:

CMD进入当前路径的windows命令窗口，输入下面指令启动容器。

复制代码

docker compose up -d

2.导入模型

在模型文件所在目录打开 CMD，执行指令后创建Modelfile文件

复制代码

# 注意把文件名换成你实际下载的 gguf 文件名
echo FROM /models/qwen3-xxx.gguf > Modelfile

导入本地模型指令：

复制代码

docker exec -it ollama ollama create qwen3-8b -f /models/Modelfile

网页输入localhost:11434，即可测试是否模型部署成功

3.启动openwebUI容器

新建一个docker-compose.yml文件，输入以下内容

复制代码

services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui
    restart: unless-stopped
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
      - ENABLE_RAG_WEB_SEARCH=false
      - ENABLE_SEARCH_QUERY=false
      - RAG_EMBEDDING_ENGINE=ollama
      - RAG_OLLAMA_BASE_URL=http://host.docker.internal:11434
      - ENABLE_OPENAI_API=false
      - OPENAI_API_KEY=none
    volumes:
      - openwebui_data:/app/backend/data

volumes:
  openwebui_data:

指令启动

复制代码

docker compose up -d

三、使用

网页访问http://localhost:3000

注册账户

开始使用

添加新的模型地址（以百炼API为例），新建openai接口

新建对话即可看到可用的外部所有模型