华为云kubernetes部署deepseek r1、ollama和open-webui（已踩过坑）

1 概述

ollama是一个管理大模型的一个中间层，通过它你可以下载并管理deepseek R1、llama3等大模型。

open-webui是一个web界面（界面设计受到chatgpt启发），可以集成ollama API、 OpenAI的 API。

用常见的web应用架构来类比，open-webui是前端，ollama是后端，大模型是数据库。

文本介绍华为云kubernetes部署open-webui最新版、ollama最新版、DeepSeek-R1-Distill-Qwen-1.5B（因为小模型可以只使用CPU，节省本文测试的成本）。

2 云资源环境准备

2.1 购买文件存储SFS Turbo

2.2 购买kubernetes集群

2.3 在k8s中创建storageclass对象

参数everest.io/share-access-to是VPC的ID。

参数everest.io/share-export-location是sfs turbo实例的共享路径:自定义子目录，sfs turbo实例的共享路径是在sfs实例的详细页查询，自定义子目录可以是任意路径。

参数everest.io/volume-id是sfs turbo实例的ID。

只需要修改以上三个参数。

在本文，storageclass的名称叫做sfsturbo-subpath-sc。

apiVersion: storage.k8s.io/v1
allowVolumeExpansion: true
kind: StorageClass
metadata:
  name: sfsturbo-subpath-sc
mountOptions:
- lock
parameters:
  csi.storage.k8s.io/csi-driver-name: sfsturbo.csi.everest.io
  csi.storage.k8s.io/fstype: nfs
  everest.io/archive-on-delete: "true"
  everest.io/share-access-to: xxxxxxxxxxxxxxxxxx   # VPC ID
  everest.io/share-expand-type: bandwidth
  everest.io/share-export-location: xxxxx.sfsturbo.internal:/mydir   # sfs turbo实例的共享路径:自定义子目录
  everest.io/share-source: sfs-turbo
  everest.io/share-volume-type: STANDARD
  everest.io/volume-as: subpath
  everest.io/volume-id: xxxxxxxxxxxxx   # sfs turbo实例的ID
provisioner: everest-csi-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

2.4 购买用于暴露容器的负载均衡器ELB

3 部署

3.1 创建namespace

ollama和open webui都部署在此namespace。

kubectl create ns ollama

3.1 部署ollama

statefulset使用刚刚创建的存储类sfsturbo-subpath-sc。

确保PVC的磁盘容量能存储下所有待下载的大模型。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: ollama
  namespace: ollama
spec:
  serviceName: "ollama"
  replicas: 1
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
        - name: ollama
          image: swr.cn-south-1.myhuaweicloud.com/migrator/ollama:0.5.7
          ports:
            - containerPort: 11434
          resources:
            requests:
              cpu: "1000m"
              memory: "2Gi"
              # nvidia.com/gpu: "4"  # 如果要用英伟达GPU，请声明下GPU卡的数量
            limits:
              cpu: "4000m"
              memory: "4Gi"
          volumeMounts:
            - name: ollama-volume
              mountPath: /root/.ollama
          tty: true
  volumeClaimTemplates:
    - metadata:
        name: ollama-volume
      spec:
        storageClassName: sfsturbo-subpath-sc
        accessModes: ["ReadWriteOnce"]
        resources:
          requests:
            storage: 200Gi  # 确保磁盘容量能存储下所有待下载的大模型
---
apiVersion: v1
kind: Service
metadata:
  name: ollama
  namespace: ollama
  labels:
    app: ollama
spec:
  type: ClusterIP
  ports:
    - port: 11434
      protocol: TCP
      targetPort: 11434
  selector:
    app: ollama

3.1 部署open webui（重点）

• deployment挂载一个固定的PVC，PVC使用刚刚创建的存储类sfsturbo-subpath-sc。

• OLLAMA_BASE_URL环境变量是ollama的地址。

• 无法连接huggingface.co：
  由于在国内环境是无法连接huggingface.co，最终导致open webui的界面是一片空白（应用日志报错：MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443)），因此需要增加环境变量HF_ENDPOINT=https://hf-mirror.com。

• 无法连接openai：
  由于不使用openai，因此将环境变量OPENAI_API_BASE_URL和OPENAI_API_KEY都设置成None，否则open webui在国内环境是无法连接openai，最终导致open webui的界面是一片空白（应用日志报错：Connection error: Cannot connect to host api.openai.com:443）。

  apiVersion: v1
  kind: PersistentVolumeClaim
  metadata:
  name: webui-pvc
  namespace: ollama
  labels:
  app: webui
  spec:
  storageClassName: sfsturbo-subpath-sc
  accessModes: ["ReadWriteOnce"]
  resources:
  requests:
  storage: 2Gi

  apiVersion: apps/v1
  kind: Deployment
  metadata:
  name: webui
  namespace: ollama
  spec:
  replicas: 1
  selector:
  matchLabels:
  app: webui
  template:
  metadata:
  labels:
  app: webui
  spec:
  containers:
  - name: webui
  image: swr.cn-south-1.myhuaweicloud.com/migrator/open-webui:main
  env:
  - name: OLLAMA_BASE_URL # 这是ollama的地址
  value: http://ollama:11434
  - name: HF_ENDPOINT # 国内环境无法连接huggingface.co
  value: https://hf-mirror.com
  - name: OPENAI_API_KEY
  value: None
  - name: OPENAI_API_BASE_URL
  value: None
  tty: true
  ports:
  - containerPort: 8080
  resources:
  requests:
  cpu: "500m"
  memory: "500Mi"
  limits:
  cpu: "1000m"
  memory: "1Gi"
  volumeMounts:
  - name: webui-volume
  mountPath: /app/backend/data
  volumes:
  - name: webui-volume
  persistentVolumeClaim:
  claimName: webui-pvc

  apiVersion: v1
  kind: Service
  metadata:
  name: webui
  namespace: ollama
  labels:
  app: webui
  spec:
  type: ClusterIP
  ports:
  - port: 8080
  protocol: TCP
  targetPort: 8080
  selector:
  app: webui

接着为open webui容器添加ingress路由以在公网暴露：

4 下载模型

进入ollama容器：

kubectl exec -it ollama-0 -n ollama bash

在容器内执行ollama pull命令下载大模型DeepSeek-R1-Distill-Qwen-1.5B。

nohup ollama pull deepseek-r1:1.5b &
tail -f nohup.out

有哪些deepseek模型可以下载，请去https://ollama.com/library/deepseek-r1地址里搜索。

5 与大模型对话

在浏览器地址输入负载均衡器ELB的公网IP，打开网页后需要先设置open webui的管理员账号密码，登录成功后即可选择刚刚下载的deepseek模型来聊天。

6 小结

文本介绍使用华为云kubernetes部署open-webui最新版、ollama最新版、DeepSeek-R1-Distill-Qwen-1.5B。在实际过程中，花费时间最多的是open-webui，因为它默认去访问在国内无法访问的两个外国地址：huggingface.co和api.openai.com，而访问这些地址最终又导致界面变成空白。