Ollama+OpenWebUI部署本地大模型

Ollama+OpenWebUI部署本地大模型

前言

Ollama是一个强大且易于使用的本地大模型推理框架,它专注于简化和优化大型语言模型(LLMs)在本地环境中的部署、管理和推理工作流。可以将Ollama理解为一个大模型推理框架的后端服务。

Ollama

Ollama安装有两种方式:

  • docker安装
  • 脚本手动安装

不论是 docker 安装还是脚本手动安装,都分为 无GPU 版本和 GPU 版本。

Ollama Docker 安装

bash 复制代码
# apt 安装 (NVIDIA GPU)
curl -fsSL <https://nvidia.github.io/libnvidia-container/gpgkey> \\
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L <https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list> \\
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \\
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# 启动容器(无GPU)
# -v ollama:/root/.ollama 表示将宿主机的 ollama 路径和容器的 /root/.ollama 进行挂载
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 启动容器(NVIDIA GPU)
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 宿主机的 ollama 路径 可以通过以下命令查询。返回的 json 数据查看 "Mounts" 节点
docker inspect ollama

Ollama 手动安装

bash 复制代码
# 下载(无gpu)
# curl -L <https://ollama.com/download/ollama-linux-amd64.tgz> -o ollama-linux-amd64.tgz
curl -L -C - <https://ollama.com/download/ollama-linux-amd64.tgz> -o /opt/ollama/ollama-linux-amd64.tgz

# 下载(有gpu)

# 解压
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

# 启动服务器
ollama serve

# 运行模型
ollama run llama3.2:1b

# 拉取模型
ollama pull llama3.2:1b

# 删除模型
ollama rm llama3.2:1b

# 复制模型
ollama cp llama3.2 my-model

# 版本
ollama -v

# 模型列表
ollama list

# 列出当前加载的模型
ollama ps

# 停止当前正在运行的模型
ollama stop llama3.2:1b

配置Ollama环境变量

bash 复制代码
# 编辑
vim ~/.bashrc
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_MODELS=~/.ollama/models
# 退出编辑
# 刷新环境变量
source ~/.bashrc

Open WebUI

Open WebUI 是一个开源的用户界面工具,用于运行和管理大语言模型(LLM)及其他人工智能功能。它的主要目的是简化人工智能模型的本地部署和操作,让用户能够方便地通过浏览器界面与各种AI模型进行交互。

Open WebUI Docker 安装

bash 复制代码
# 拉取镜像
docker pull ghcr.io/open-webui/open-webui:main

# 启动(无gpu)
# OLLAMA_BASE_URL 最好使用实际的ip地址,以防openwebui的docker识别不了ollama后端服务
docker run -d \\
-p 3000:8080 \\
-v /opt/ollama/open-webui:/app/backend/data \\
-e HF_ENDPOINT=https://hf-mirror.com \\
-e OLLAMA_BASE_URL=http://0.0.0.0:11434 \\
-e DEFAULT_MODELS=llama3.2:1b \\
--name open-webui \\
--restart always \\
ghcr.io/open-webui/open-webui:main

# 启动(NVIDIA GPU)
docker run -d \\
-p 3000:8080 \\
--gpus all \\
-v /opt/ollama/open-webui:/app/backend/data \\
-e HF_ENDPOINT=https://hf-mirror.com \\
-e OLLAMA_BASE_URL=http://0.0.0.0:11434 \\
-e DEFAULT_MODELS=qwen2.5:7b \\
--name open-webui \\
--restart always \\
ghcr.io/open-webui/open-webui:cuda

其中 HF_ENDPOINT 是模型的下载社区 Hugging-Face 的国内镜像。

OLLAMA_BASE_URL 是我们上一步部署的 Ollama 后端服务的基础地址。

查看镜像

bash 复制代码
docker images

查看容器

bash 复制代码
docker ps

访问地址:localhost:3000

参考

ollama

openwebui

千问大模型微调

相关推荐
Sui_Network14 分钟前
CUDIS 健康协议在 Sui 上打造更健康的未来
人工智能·科技·web3·去中心化·区块链
飞哥数智坊17 分钟前
Claude 4.5 升级解析:很强,但请别跳过“Imagine”
人工智能·ai编程·claude
星期天要睡觉30 分钟前
计算机视觉(opencv)——基于 dlib 关键点定位
人工智能·opencv·计算机视觉
程序边界1 小时前
AI时代如何高效学习Python:从零基础到项目实战de封神之路(2025升级版)
人工智能·python·学习
研梦非凡1 小时前
探索3D空间的视觉基础模型系列
人工智能·深度学习·神经网络·机器学习·计算机视觉·3d
gooxi_hui1 小时前
国鑫发布新一代「海擎」服务器 全面兼容国内外主流OAM GPU
人工智能
Gerlat小智2 小时前
【手撕机器学习 04】手撕线性回归:从“蒙眼下山”彻底理解梯度下降
人工智能·机器学习·线性回归
学术小白人2 小时前
IEEE出版 | 2026年计算智能与机器学习国际学术会议(CIML 2026)
人工智能·机器学习
jie*2 小时前
小杰深度学习(four)——神经网络可解释性、欠拟合、过拟合
人工智能·python·深度学习·神经网络·scikit-learn·matplotlib·sklearn
学习是生活的调味剂2 小时前
PEFT实战LoRA微调OpenAI Whisper 中文语音识别
人工智能·whisper·语音识别