快速部署大模型 Openwebui + Ollama + deepSeek-R1模型

背景

本文主要快速部署一个带有web可交互界面的大模型的应用,主要用于开发测试节点,其中涉及到的三个组件为

首先 Ollama 是一个开源的本地化大模型部署工具,提供与OpenAI兼容的Api接口,可以快速的运行大模型服务,我们用他来部署deepseek。
open-webui 提供了用户友好的 AI 界面(支持 Ollama、OpenAI API 等),且能够支持多种大模型,我们可以部署除了deepseek以外的其他模型,可以很方便的在模型之间切换等功能。

部署步骤

Ollama的部署

因为我这边是Mac系统,直接点击下载Ollama-darwin.zip,之后安装就可以了.

安装好后,运行ollama --version,显示如下:

复制代码
ollama version is 0.6.3

运行 DeepSeek-R1模型

Ollama 支持下载部署 在 ollama lib以及 HuggingFace Modelscope的模型。

我们这里以ollama lib上的模型为例进行演示,运行如下命令就会下载并运行deepseek-r1模型

复制代码
ollama run deepseek-r1:1.5b

这样我们就能够进行对话了

复制代码
 ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

在这里可以进行提问了。

可以看到这里的交互界面很简单

运行 open-webui

在这里我们可以用conda新建一个虚拟环境

复制代码
conda create --name python3.12 python=3.12

之后安装open-webui

复制代码
pip install open-webui

启动open-webui

复制代码
open-webui serve

浏览器输入http://localhost:8080/就可以访问并和deepseek进行交互了,默认是8080端口,也可以通过open-webui serve --port 8070这种方式指定端口去启动

注意第一次进去的时候,需要输入管理员密码。且需要等一段时间才能看到运行的模型

额外

我们可以直接访问deepseek提供的在线chat平台deepseek去聊天

相关推荐
weixin_416660071 小时前
AI 生成的流程图和公式,怎样一起导出到 Word?附可复用测试样例
word·流程图·markdown·豆包·deepseek
星核0penstarry1 小时前
企业接入多家 AI API,聚合平台能解决什么、不能解决什么
人工智能·大模型·ai编程·合规·api聚合平台·大模型网关·接入层
for_ever_love__1 小时前
LangChain Text-to-SQL:让不会写 SQL 的人查数据库
数据库·sql·langchain·大模型·agent·rag·问答
问天_观心2 小时前
Mistral-7B QLoRA 实战(二):官方权重转换、4-bit NF4 加载与 Base Model 基线测试
人工智能·深度学习·学习·大模型·transformer
倔强的石头1062 小时前
Gemini架构解析_多模态大模型的设计思路
人工智能·大模型
前端大斗师12 小时前
「大于 1000」把 1000 元那单也算进去了:我在 Vue3 订单页对了 10 句话
前端·人工智能·typescript·大模型·原力计划
遇码20 小时前
system prompt 里拼了时间和知识大纲,每轮缓存都被击穿:静态/动态分离的提示词装配方法
人工智能·ai·大模型
寻道模式1 天前
【开发心得】大模型背后的“隐形毒药”
大模型·标签·数据·注入·投毒
北京地铁1号线1 天前
为大模型创建一个简单的skill:在12306网站查询车次(仅作查询,不提供购票功能,仅作学习使用)
自然语言处理·大模型·agent·技能·skill
前沿在线1 天前
破解 AI 推理效率困局,详解华为 OceanStor M900 AI记忆存储新基建
人工智能·ai·大模型