【AI】——结合Ollama、Open WebUI和Docker本地部署可视化AI大语言模型

🎼个人主页:【Y小夜】

😎作者简介:一位双非学校的大三学生,编程爱好者,

专注于基础和实战分享,欢迎私信咨询!

🎆入门专栏:🎇【 MySQL,Javaweb,Rust,python】

🎈热门专栏:🎊【 Springboot,Redis,Springsecurity,Docker,AI】

++感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持!❤️++

目录

🎈本地部署模型

🎉安装Ollama

[🎉安装 Open WebUI](#🎉安装 Open WebUI)

🎊安装Docker

[🥞启动 Hyper-v](#🥞启动 Hyper-v)

[🥞 安装 WSL(适用于Linux的Windows的子系统):](#🥞 安装 WSL(适用于Linux的Windows的子系统):)

🥞安装Docker

[🎊Docker 部署 Open WebUI](#🎊Docker 部署 Open WebUI)


🎈本地部署模型

🎉安装Ollama

官网:​Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以QWen为例子,大家可以尝试其他的模型)

打开一个终端,然后输入一个命令,进行测试

复制代码
ollama run qwen

现在是正在进行下载,默认是保存在(C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置)

复制代码
setx OLLAMA_MODELS "D:"

下载完成后,可以进行测试:

查看都安装了什么模型

复制代码
ollma list命令显示所有安装模型

ollama rm 模型名称 删除指定模型

但这个现在就只可以在终端中使用 ,那么我问现在就搞一个web页面进行交互,增加体验。

🎉安装 Open WebUI

🎊安装Docker

如果你本地已经有了Docker了,那就可以直接看下面的内容。

🥞启动 Hyper-v

但是如果你这里没有Hyper-V,那么恭喜你,博主也没有,博主已经踩过这个坑了。

我们首先在桌面上建立一个文件,命名为Hyper.cmd,然后填入内容

复制代码
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

然后使用管理员身份运行这个文件,运行完毕后,重启电脑,再打开,就可以找到Hyper-V了。

🥞 安装 WSL(适用于Linux的Windows的子系统):
复制代码
wsl --update

然后进行安装

复制代码
wsl --install
🥞安装Docker

官网: Windows | Docker Docs

然后进行下载:

然后双击进行安装

这里咱们先不注册,直接进行登录即可

左下角是绿色,就代表运行成功了

🎊Docker 部署 Open WebUI

打开命令行,然后输入docker

展示内容,说明我们的docker安装成功了

然后开始用docker安装open webUI

然后,安装完成够就可以,打开Docker Desktop,访问http://localhost:3000端口了

然后点击登录网址,

就是你会发现,点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,但是,你可能会出现一个错误,就是找不到你自己安装的模型,这个原因是因为你的ollama没有启动,我们启动一下ollama

然后再重新,加载一下网页,再选择一下模型

提问一下问题,模型进行回答。这样我们本地的模型就部署好了

相关推荐
java_logo14 小时前
Docker 部署 DeepSeek Harness(moelin):轻松搭建带登录的本地 AI Agent 平台
运维·docker·容器·ai agent·deepseek·harness·轩辕镜像
Dawson Zhu15 小时前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
xbzb15 小时前
容器 IP 每次重建都变?docker network 五种模式与自定义网桥固定地址
网络·docker·容器·ip·network·固定
如夏倾城17 小时前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
打工仔折腾 AI19 小时前
Changedetection.io 网页变动监控:Docker 部署、通知配置与公网暴露实践
运维·人工智能·后端·python·docker·容器·性能优化
xiaoye-duck20 小时前
《C++ 项目:手写大模型接入 SDK》会话模块整合:内存 SessionManager 与 DataManager 持久化联动
开发语言·数据库·c++·语言模型
syyjhchou1 天前
自己搭企业内部中转站,怎么让请求更容易命中缓存
人工智能·后端·语言模型·aigc
xbzb1 天前
自建镜像仓库:registry 一条命令 + harbor 部署、授权、跨库同步与卸载
docker·harbor·镜像·仓库·同步·registry
Dawson Zhu2 天前
Queen Planner深度解析:Agent竞争从模型时代进入系统时代
人工智能·语言模型·架构·aigc·agi
硅谷秋水2 天前
EgoHumanoid‑V2 方法分析
人工智能·机器学习·计算机视觉·语言模型·机器人