(二)DeepSeek大模型安装部署-Web工具Open-WebUI安装

DeepSeek大模型安装部署-Web工具Open-WebUI安装

(一)、Open-WebUI的工作流程

(二)、DockerCompose部署Open-WebUI

复制代码
version: "3"
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    environment:
      - OLLAMA_BASE_URL=http://localhost:11434
      - ENABLE_OPENAI_API=false
    network_mode: "host"
  • OLLAMA_BASE_URL 配置ollama连接地址
  • ENABLE_OPENAI_API 禁用连接openai
  • network_mode: "host" 解决Docker容器无法与运行在主机上的Ollama服务通信

执行docker-compose up -d 启动服务,默认端口8080

访问:http://localhost:8080

(三)、Open-WebUI连接不上Ollama问题

可能是因为Ollama没有监听允许外部连接的网络接口。可通过设置环境变量OLLAMA_HOST = 0.0.0.0解决。

复制代码
vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"

[Install]
WantedBy=default.target

#添加了Environment="OLLAMA_HOST=0.0.0.0:11434"环境变量

#为了使更改生效,您需要重新加载systemd的配置。使用以下命令:
sudo systemctl daemon-reload
#最后,重启服务以应用更改:
sudo systemctl restart ollama
相关推荐
belingud19 小时前
不同模型回答差异的简单探讨
chatgpt·claude·deepseek
ModelWhale1 天前
“大模型”技术专栏 | 浅谈基于 Kubernetes 的 LLM 分布式推理框架架构:概览
分布式·kubernetes·大模型
charlee441 天前
在本地部署Qwen大语言模型全过程总结
大模型·cuda·qwen·量化
SuperherRo1 天前
Web攻防-大模型应用&LLM安全&提示词注入&不安全输出&代码注入&直接间接&数据投毒
大模型·llm·提示词注入·不安全输出·直接·间接
努力还债的学术吗喽2 天前
2020 GPT3 原文 Language Models are Few-Shot Learners 精选注解
gpt·大模型·llm·gpt-3·大语言模型·few-shot·zero-shot
云道轩2 天前
DeepSeek补全IBM MQ 9.4 REST API 执行命令的PPT
deepseek·ibm mq
精致先生2 天前
Streamlit实现Qwen对话机器人
python·机器人·大模型·streamlit
算家计算2 天前
DeepSeek R2因芯片问题再次延迟发布!千亿级大模型训练的算力之困
人工智能·芯片·deepseek
ai绘画-安安妮3 天前
零基础学LangChain:核心概念与基础组件解析
人工智能·学习·ai·程序员·langchain·大模型·转行
AI大模型3 天前
手把手教你本地部署DeepSeek:解锁私有化AI的无限可能
程序员·llm·deepseek