CentOS 7 docker安装ollama、open-webui

--创建 ai 用户,以 root 身份执行

useradd -m -s /bin/bash ai

passwd ai --ai@2026!

mkdir -p /home/ai

chown -R ai:ai /home/ai

chmod 755 /home/ai

--安装 Docker,以 root 身份执行

yum remove -y docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

yum install -y yum-utils device-mapper-persistent-data lvm2 # 安装依赖

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 添加 Docker 仓库(使用阿里云镜像加速)

yum install -y docker-ce docker-ce-cli containerd.io # 安装 Docker

#ai用户加入docker、wheel组

usermod -aG docker ai

配置 Docker 镜像加速(国内)

mkdir -p /etc/docker

cat > /etc/docker/daemon.json <<EOF

{

"registry-mirrors": [

"https://docker.1ms.run",

"https://hub.rat.dev"

]

}

EOF

systemctl daemon-reload # 让 systemd 重新读取配置文件

systemctl start docker # 启动 Docker

systemctl status docker# 查看启动状态

systemctl restart docker # 重启 Docker

验证

docker --version

docker info 看Registry Mirrors是否国内镜像

  • 安装ollama

su - ai

mkdir -p /home/ai/{ollama,open-webui}

docker pull docker.1ms.run/ollama/ollama:latest

docker pull docker.1ms.run/dyrnq/open-webui:latest

#查看镜像

ai@localhost \~$ docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

docker.1ms.run/dyrnq/open-webui latest eef064db6151 3 days ago 4.64GB

docker.1ms.run/ollama/ollama latest cb27efcf587f 3 days ago 5.63GB

ai@localhost \~$

启动 Ollama容器

docker run -d \

--name ollama \

--restart unless-stopped \

-p 11434:11434 \

-v /home/ai/ollama:/root/.ollama \

-e OLLAMA_HOST=0.0.0.0 \

docker.1ms.run/ollama/ollama:latest

启动:docker start ollama # docker run会自动启动,stop以后才用此命令启动

停止:docker stop ollama

查看:docker ps -a | grep ollama # -a 参数可显示已经stop的容器

docker exec -it ollama ollama -v

curl http://localhost:11434/api/version

删除容器:docker rm -f ollama # 如果docker run 后面参数修改了,要重新启动,就需要先删除容器,否则会报错;-f 参数可强制删除正在运行的容器

离线模型-下载:https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M,下载后放到/home/ai/ollama/models目录

离线模型-注册文件:在目录/home/ai/ollama/models创建文件:vi Modelfile

FROM /root/.ollama/models/Qwen3-8B-Q4_K_M.gguf

在线模型-拉取:docker exec -it ollama ollama pull qwen3:4b

离线模型-注册:docker exec -it ollama ollama create qwen3-8b -f /root/.ollama/models/Modelfile

查看已下载模型:docker exec -it ollama ollama list

测试模型:docker exec -it ollama ollama run qwen3:4b "你好,请介绍一下你自己"

删除模型:docker exec -it ollama ollama rm qwen3-8b:latest

交互模式执行命令:docker exec -it ollama bash;ollama-v;

启动 Open WebUI(手动 docker run)

docker run -d \

--name open-webui \

--restart unless-stopped \

-p 3000:8080 \

-v /home/ai/open-webui:/app/backend/data \

--add-host=host.docker.internal:host-gateway \

-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \

docker.1ms.run/dyrnq/open-webui:latest

停止:docker stop open-webui

查看:docker ps | grep open-webui

Open WebUI http://172.30.3.241:3000

Ollama API http://172.30.3.241:11434

相关推荐
hdsoft_huge8 分钟前
部署 Nacos + Ollama + vLLM + MCP 完整图文教程(1Panel 面板,命令行安装两种方式)
python·vllm·ollama·mcp
小七-七牛开发者2 天前
本地模型为什么能跑起来?从 llama.cpp 量化说起
agent·llama·模型部署·ollama·本地模型
xyz_CDragon2 天前
OpenClaw 局域网调用 Ollama 本地大模型:完整配置与踩坑指南
python·ai编程·集成学习·ollama·deepseek·openclaw
程序员阿卢2 天前
01-基于springboot框架调用ollama下的模型完成基本功能
spring boot·后端·ollama·通义千问模型qwen
爱和冰阔落3 天前
Ollama 本地大模型部署实战:从安装到 RAG 知识库完整指南
开发语言·大模型·php·ollama
Python私教3 天前
Cursor + Claude Code 全流程实战:搭一套生产级 AI 编程工作流(2026 最新版)
人工智能·语言模型·qwen·ollama·本地大模型·大模型部署·deepseek
小刘爱搬砖6 天前
Ollama本地部署大模型,告别TOKEN焦虑
大模型·ollama
brycegao3217 天前
Tauri2+Vue3+Ollama 实战|依托 AI 协同开发全离线隐私记账桌面软件(开源)
人工智能·开源·vue·ai编程·tauri·ollama·桌面开发
逐梦苍穹7 天前
omlx实战:5分钟让Apple Silicon本地跑通Claude Code——分页SSD KV缓存把TTFT从90秒压到1秒(附安装踩坑+实测)
人工智能·缓存·ollama·claudecode·omlx
兆。10 天前
多模态模型详解:从拼接式到原生统一架构
架构·qwen·多模态模型·ollama