快速部署大模型 Openwebui + Ollama + deepSeek-R1模型

背景

本文主要快速部署一个带有web可交互界面的大模型的应用,主要用于开发测试节点,其中涉及到的三个组件为

首先 Ollama 是一个开源的本地化大模型部署工具,提供与OpenAI兼容的Api接口,可以快速的运行大模型服务,我们用他来部署deepseek。
open-webui 提供了用户友好的 AI 界面(支持 Ollama、OpenAI API 等),且能够支持多种大模型,我们可以部署除了deepseek以外的其他模型,可以很方便的在模型之间切换等功能。

部署步骤

Ollama的部署

因为我这边是Mac系统,直接点击下载Ollama-darwin.zip,之后安装就可以了.

安装好后,运行ollama --version,显示如下:

复制代码
ollama version is 0.6.3

运行 DeepSeek-R1模型

Ollama 支持下载部署 在 ollama lib以及 HuggingFace Modelscope的模型。

我们这里以ollama lib上的模型为例进行演示,运行如下命令就会下载并运行deepseek-r1模型

复制代码
ollama run deepseek-r1:1.5b

这样我们就能够进行对话了

复制代码
 ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

在这里可以进行提问了。

可以看到这里的交互界面很简单

运行 open-webui

在这里我们可以用conda新建一个虚拟环境

复制代码
conda create --name python3.12 python=3.12

之后安装open-webui

复制代码
pip install open-webui

启动open-webui

复制代码
open-webui serve

浏览器输入http://localhost:8080/就可以访问并和deepseek进行交互了,默认是8080端口,也可以通过open-webui serve --port 8070这种方式指定端口去启动

注意第一次进去的时候,需要输入管理员密码。且需要等一段时间才能看到运行的模型

额外

我们可以直接访问deepseek提供的在线chat平台deepseek去聊天

相关推荐
AI模力圈5 小时前
On-Policy Distillation:原理、变体与工程实现解析
大模型·强化学习·知识蒸馏
长谷深风1116 小时前
根因定位:三步隔离法破解AIBadcase
人工智能·ai·大模型·retrieval·ai智能体·aiagent·aibadcase
roamingcode7 小时前
DeepSeek Harness 记忆召回插件的“PRD”设计拆解
agent·memory·deepseek·harness·dsh·dsh-plugin
I Am a robert girl7 小时前
谷歌迈出RSI一大步:从Gemini模型迭代看AI工程化的新风向
人工智能·大模型·gemini·ai工程化·上下文工程·rsi·工具链集成
leoZ2317 小时前
第 16 篇 转型路线图与求职实战
人工智能·大模型·agent
前端小白乘风9 小时前
VS Code 终于能连微信了!发现一个硬核开源神仙插件:WeChat AHP
微信·visual studio code·deepseek
lie..9 小时前
30天从零开始学AI应用开发(Day 4):Python 极速入门(上):够用就行,别啃书
人工智能·python·大模型
旋生万物10 小时前
MySQL 死锁总复发?用螺旋事务相位互逆法定位加锁顺序(附 Python 诊断脚本)
mysql·大模型·innodb·螺旋生成论·螺旋相位
DQQzero10 小时前
豆包工作来了:AI办公三国杀的牌桌重组
人工智能·ai·大模型·办公
VIP_CQCRE11 小时前
Visual Studio 也能丝滑接入大模型:用 Ace Data Cloud + LMLocal 打造 AI 编程体验
ai·大模型·visual studio·ace data cloud·lmlocal