Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

前言

之前已经部署了基于Ollama的DeepSeek:

https://lizhiyong.blog.csdn.net/article/details/145505686

并集成了ChatBox:

https://lizhiyong.blog.csdn.net/article/details/145524481

还折腾了DockerDesktop环境:

https://lizhiyong.blog.csdn.net/article/details/145580868

今天试一试部署Open WebUI,它可以开关DeepSeek的上下文联想功能,还可以集成联网搜索等功能。

由于目前的Open web UI只支持python3.11,Docker容器方式可以很好地避免环境问题。

部署

参考官方文档:

http 复制代码
https://docs.openwebui.com/

灰常简洁地给出2个Docker命令:

shell 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main	#正常命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda	#支持英伟达显卡的命令

由于笔者之前已经部署了Ollama【本地部署,非容器】,且丽台A4000显卡之前搞定了驱动和CUDA:

https://lizhiyong.blog.csdn.net/article/details/127827522

故笔者参考第二个命令:

shell 复制代码
docker run -d -p 3008:8080 --gpus all --add-host=host.docker.internal:host-gateway -v E:\dockerData\volume\openWebUI1:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

容器镜像加速

科学上网后容器拉取还是很慢,故需要配置容器镜像加速:

找一个容器镜像加速地址,笔者使用的是阿里云。可以去官网自己获取一个:

http 复制代码
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

容器运行

由于容器运行起来后,还需要加载一些资源文件,所以暂时还不能访问网页。

待加载完成后:

http 复制代码
http://localhost:3008/auth

可以查看界面:

设置管理员u/p后即可使用。

由于之前已经配置好了各种环境变量,且开放了Docker容器和本机直接的网络端口,此时已经自动识别到部署过的2个小模型。

启用联网搜索

随便提问一下,open webui这个界面的好处就体现出来了:

可以同时对多个模型提问,并对生成的结果做比对。

可以开启联网搜索:

奶思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

显然和Chat Box相比,open webui方式集成虽然麻烦些,但可玩性变好了。。。

转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/145582453

相关推荐
Wnq100729 分钟前
工业场景轮式巡检机器人纯视觉识别导航的优势剖析与前景展望
人工智能·算法·计算机视觉·激光雷达·视觉导航·人形机器人·巡检机器人
无心水1 小时前
【程序员AI入门:模型】19.开源模型工程化全攻略:从选型部署到高效集成,LangChain与One-API双剑合璧
人工智能·langchain·开源·ai入门·程序员ai开发入门·程序员的 ai 开发第一课·程序员ai入门
有梦想的攻城狮1 小时前
大语言模型与多模态模型比较
人工智能·语言模型·自然语言处理·llm·大语言模型
九章云极AladdinEdu2 小时前
GPU与NPU异构计算任务划分算法研究:基于强化学习的Transformer负载均衡实践
java·开发语言·人工智能·深度学习·测试工具·负载均衡·transformer
量子-Alex2 小时前
【目标检测】RT-DETR
人工智能·目标检测·计算机视觉
2201_754918412 小时前
OpenCV 图像透视变换详解
人工智能·opencv·计算机视觉
羽星_s2 小时前
文本分类任务Qwen3-0.6B与Bert:实验见解
人工智能·bert·文本分类·ai大模型·qwen3
摸鱼仙人~2 小时前
TensorFlow/Keras实现知识蒸馏案例
人工智能·tensorflow·keras
浊酒南街2 小时前
TensorFlow之微分求导
人工智能·python·tensorflow
羽凌寒2 小时前
曝光融合(Exposure Fusion)
图像处理·人工智能·计算机视觉