CentOS 7 docker安装ollama、open-webui

--创建 ai 用户,以 root 身份执行

useradd -m -s /bin/bash ai

passwd ai --ai@2026!

mkdir -p /home/ai

chown -R ai:ai /home/ai

chmod 755 /home/ai

--安装 Docker,以 root 身份执行

yum remove -y docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

yum install -y yum-utils device-mapper-persistent-data lvm2 # 安装依赖

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 添加 Docker 仓库(使用阿里云镜像加速)

yum install -y docker-ce docker-ce-cli containerd.io # 安装 Docker

#ai用户加入docker、wheel组

usermod -aG docker ai

配置 Docker 镜像加速(国内)

mkdir -p /etc/docker

cat > /etc/docker/daemon.json <<EOF

{

"registry-mirrors": [

"https://docker.1ms.run",

"https://hub.rat.dev"

]

}

EOF

systemctl daemon-reload # 让 systemd 重新读取配置文件

systemctl start docker # 启动 Docker

systemctl status docker# 查看启动状态

systemctl restart docker # 重启 Docker

验证

docker --version

docker info 看Registry Mirrors是否国内镜像

  • 安装ollama

su - ai

mkdir -p /home/ai/{ollama,open-webui}

docker pull docker.1ms.run/ollama/ollama:latest

docker pull docker.1ms.run/dyrnq/open-webui:latest

#查看镜像

ai@localhost \~\]$ docker images REPOSITORY TAG IMAGE ID CREATED SIZE docker.1ms.run/dyrnq/open-webui latest eef064db6151 3 days ago 4.64GB docker.1ms.run/ollama/ollama latest cb27efcf587f 3 days ago 5.63GB \[ai@localhost \~\]$ # 启动 Ollama容器 docker run -d \\ --name ollama \\ --restart unless-stopped \\ -p 11434:11434 \\ -v /home/ai/ollama:/root/.ollama \\ -e OLLAMA_HOST=0.0.0.0 \\ docker.1ms.run/ollama/ollama:latest 启动:docker start ollama # docker run会自动启动,stop以后才用此命令启动 停止:docker stop ollama 查看:docker ps -a \| grep ollama # -a 参数可显示已经stop的容器 docker exec -it ollama ollama -v curl [http://localhost:11434/api/version](http://localhost:11434/api/version "http://localhost:11434/api/version") 删除容器:docker rm -f ollama # 如果docker run 后面参数修改了,要重新启动,就需要先删除容器,否则会报错;-f 参数可强制删除正在运行的容器 离线模型-下载:[https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M](https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M "https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M"),下载后放到/home/ai/ollama/models目录 离线模型-注册文件:在目录/home/ai/ollama/models创建文件:vi Modelfile FROM /root/.ollama/models/Qwen3-8B-Q4_K_M.gguf 在线模型-拉取:docker exec -it ollama ollama pull qwen3:4b 离线模型-注册:docker exec -it ollama ollama create qwen3-8b -f /root/.ollama/models/Modelfile 查看已下载模型:docker exec -it ollama ollama list 测试模型:docker exec -it ollama ollama run qwen3:4b "你好,请介绍一下你自己" 删除模型:docker exec -it ollama ollama rm qwen3-8b:latest 交互模式执行命令:docker exec -it ollama bash;ollama-v; # 启动 Open WebUI(手动 docker run) docker run -d \\ --name open-webui \\ --restart unless-stopped \\ -p 3000:8080 \\ -v /home/ai/open-webui:/app/backend/data \\ --add-host=host.docker.internal:host-gateway \\ -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \\ docker.1ms.run/dyrnq/open-webui:latest 停止:docker stop open-webui 查看:docker ps \| grep open-webui Open WebUI http://172.30.3.241:3000 Ollama API http://172.30.3.241:11434

相关推荐
Hello.Reader11 小时前
双卡 A100 上如何给 Ollama 做轮询分发与健康检查,真正把吞吐跑满
ollama
凤山老林17 小时前
Java 开发者零成本上手:用 Spring AI Alibaba + Ollama 本地跑通 DeepSeek 大模型
java·人工智能·ollama·deepseek·spring ai 阿里巴巴
诸神缄默不语2 天前
本地LLM部署工具(写给小白的LLM工具选型系列:第一篇)
llm·大规模预训练语言模型·vllm·ollama
福大大架构师每日一题3 天前
ollama v0.19.0 发布!Web 搜索插件上线、多模型兼容修复、MLX 与 KV 缓存全面优化,本地大模型体验再升级
缓存·ollama
AAA阿giao4 天前
打造你的 Git 提交 AI 神器:从零实现前后端分离的 Commit Message 生成器
react.js·express·ollama
村中少年5 天前
vscode如何添加ollama本地模型-实现token自由
vscode·llm·token·ollama·本地模型·qwen3
竹之却6 天前
【OpenClaw】云服务器端 openclaw 集成本地 Windows端 ollama 模型
windows·llama·ollama·openclaw·qwen3.5
加斯顿工程师7 天前
Windows系统使用Ollama本地化部署Qwen3.5-9B模型教程
windows·大模型·本地部署·ollama·qwen3.5
chenhua7 天前
openclaw基于飞书群聊中减少机器人大模型调用次数
飞书·ollama·群聊·本地小模型·多agent·openclaw
brucelee18610 天前
Debian 安装 Ollama 教程
debian·ollama·open claw