快速部署大模型 Openwebui + Ollama + deepSeek-R1模型

背景

本文主要快速部署一个带有web可交互界面的大模型的应用,主要用于开发测试节点,其中涉及到的三个组件为

首先 Ollama 是一个开源的本地化大模型部署工具,提供与OpenAI兼容的Api接口,可以快速的运行大模型服务,我们用他来部署deepseek。
open-webui 提供了用户友好的 AI 界面(支持 Ollama、OpenAI API 等),且能够支持多种大模型,我们可以部署除了deepseek以外的其他模型,可以很方便的在模型之间切换等功能。

部署步骤

Ollama的部署

因为我这边是Mac系统,直接点击下载Ollama-darwin.zip,之后安装就可以了.

安装好后,运行ollama --version,显示如下:

复制代码
ollama version is 0.6.3

运行 DeepSeek-R1模型

Ollama 支持下载部署 在 ollama lib以及 HuggingFace Modelscope的模型。

我们这里以ollama lib上的模型为例进行演示,运行如下命令就会下载并运行deepseek-r1模型

复制代码
ollama run deepseek-r1:1.5b

这样我们就能够进行对话了

复制代码
 ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

在这里可以进行提问了。

可以看到这里的交互界面很简单

运行 open-webui

在这里我们可以用conda新建一个虚拟环境

复制代码
conda create --name python3.12 python=3.12

之后安装open-webui

复制代码
pip install open-webui

启动open-webui

复制代码
open-webui serve

浏览器输入http://localhost:8080/就可以访问并和deepseek进行交互了,默认是8080端口,也可以通过open-webui serve --port 8070这种方式指定端口去启动

注意第一次进去的时候,需要输入管理员密码。且需要等一段时间才能看到运行的模型

额外

我们可以直接访问deepseek提供的在线chat平台deepseek去聊天

相关推荐
道可云1 小时前
道可云人工智能每日资讯|浦东启动人工智能创新应用竞赛
人工智能·百度·ar·xr·deepseek
Just_Paranoid3 小时前
华为云Flexus+DeepSeek征文|基于Dify构建音视频内容转录工作流
华为云·音视频·dify·maas·deepseek·flexusx
静心问道3 小时前
STEP-BACK PROMPTING:退一步:通过抽象在大型语言模型中唤起推理能力
人工智能·语言模型·大模型
会飞的果粒橙3 小时前
在Ubuntu24上安装ollama
ollama·deepseek
小明说Java3 小时前
华为云Flexus+DeepSeek征文 | 基于华为云Flexus X实例部署Dify平台构建企业行政助手的可用性研究
华为云·maas·deepseek·flexus
静心问道9 小时前
APE:大语言模型具有人类水平的提示工程能力
人工智能·算法·语言模型·大模型
cooldream200911 小时前
华为云Flexus+DeepSeek征文|利用华为云一键部署 Dify 平台并接入 DeepSeek 大模型,构建长篇文章生成助手
大模型·华为云·dify
静心问道14 小时前
SELF-INSTRUCT:使用自生成指令对齐语言模型
人工智能·语言模型·大模型
大模型铲屎官10 天前
【Go语言-Day 7】循环控制全解析:从 for 基础到 for-range 遍历与高级控制
开发语言·人工智能·后端·golang·大模型·go语言·循环控制