在Windows系统中本地部署属于自己的大语言模型(Ollama + open-webui + deepseek-r1)

文章目录

      • [1 在Windows系统中安装Ollama,并成功启动;](#1 在Windows系统中安装Ollama,并成功启动;)
      • [2 非docker方式安装open-webui](#2 非docker方式安装open-webui)
      • 3下载并部署模型deepseek-r1

  • Ollama

    Ollama 是一个命令行工具,用于管理和运行机器学习模型。它简化了模型的下载与部署,支持跨平台使用,包括 Windows、Linux 和 MacOS 系统。用户可以通过 Ollama 访问丰富的模型库,如 Qwen、Llama 等,并支持自定义模型参数。

  • open-webui

    open-webui 是一个用户友好的 Web 界面,用于与大型语言模型进行交互。它提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。类似于chatgpt的web界面;

  • deepseek-r1

    DeepSeek-R1 是由中国公司 DeepSeek 开发的大型语言模型。它以成本效益高和开放性受到科学家的欢迎,能够生成类似于人类推理过程的逐步响应。


1 在Windows系统中安装Ollama,并成功启动;

  • ollama官网中下载OllamaSetup.exe;
  • 点击OllamaSetup.exe进行安装;按照提示一步步安装;
  • 安装完成以后,直接去系统托盘里面查看ollama是否已经启动,存在则代表启动成功;后面第二次启动则像下图一样;
  • 这个时候其实已经可以在CMD窗口中,通过ollama下载开源的大语言模型,并在本地进行部署,下图就是以Google的开源模型gemma2为例子;
  • ollama的library网页可以查看ollama可以下载并部署的大语言模型,如下图选择的就是deepseek-r1:14b模型;
  • "B" 指的是模型的参数数量,例如"7B"即这个模型有70亿(Billion)个参数。
  • 参数是机器学习模型中用来从数据中学习的变量。
  • 参数数量是衡量模型复杂度和容量的一个指标,通常参数数量越多,模型的表达能力越强,但同时也需要更多的数据和计算资源来训练。
  • 所以在本地部署模型的时候,要根据电脑配置选取合适参数变量的模型;

2 非docker方式安装open-webui

使用 PyCharm 作为集成开发环境(IDE),并结合 Miniconda 来管理 Python 环境和依赖

    1. pycharm创建项目(按需命名),miniconda创建虚拟环境,注意创建时选用的python版本需要大于等于3.11;
    1. 在pycharm终端确认虚拟环境已经激活,然后通过以下命令安装open-webui,安装过程会有些慢;
python 复制代码
  pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
  • 安装的时候会在这个地方卡很久,请耐心等待5-10mins左右;

  • 3.通过以下命令启动open-webui,下图是我第二次启动的样子,第一次应该会比较慢,需要安装很多依赖包;如果过程中出现安装失败的情况,就需要科学上网解决;或者访问这个视频网址,根据up主的方式去解决;

python 复制代码
open-webui serve       
  • 4.根据上面的信息,open-webui是部署在本机的8080端口上,所以通过以下网址可以进行访问,访问以后来到注册界面,如下图,这个注册只需要填写信息即可注册,且第一个注册人员就是管理员;
python 复制代码
localhost:8080
    1. 成功登陆以后界面如下,将界面语言设置成简体中文;

3下载并部署模型deepseek-r1

  • 1.在open-webui中按照下图标注打开管理模型的界面;

  • 2.点击标注的地方;

  • 3.按照以下标注顺序下载和部署模型

  • 下载完成以后,就可以按照下图,在"新对话"的界面中选取部署好的模型,然后就能正常使用了;


更多关于open-webui的使用可以参考:

相关推荐
格林威6 分钟前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现持械检测(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
FIT2CLOUD飞致云13 分钟前
七月月报丨MaxKB在企业环境中实现AI落地的具体场景盘点
人工智能·开源·deepseek
叫我:松哥38 分钟前
基于网络爬虫的在线医疗咨询数据爬取与医疗服务分析系统,技术采用django+朴素贝叶斯算法+boostrap+echart可视化
人工智能·爬虫·python·算法·django·数据可视化·朴素贝叶斯
大咖分享课1 小时前
多租户系统中的安全隔离机制设计
人工智能·安全·安全隔离
九章云极AladdinEdu2 小时前
GitHub新手生存指南:AI项目版本控制与协作实战
人工智能·pytorch·opencv·机器学习·github·gpu算力
霜绛2 小时前
机器学习笔记(三)——决策树、随机森林
人工智能·笔记·学习·决策树·随机森林·机器学习
PPIO派欧云2 小时前
PPIO上线阿里旗舰推理模型Qwen3-235B-A22B-Thinking-2507
人工智能·语言模型
赴3352 小时前
Numpy 库 矩阵数学运算,点积,文件读取和保存等
人工智能·算法·numpy·random·dot
ManageEngineITSM3 小时前
从混乱到秩序:IT服务管理如何重塑企业运营效率
大数据·人工智能·程序人生·职场和发展·itsm
优宁维生物3 小时前
血液样本的分类与应用
人工智能·分类·数据挖掘