在Windows系统中本地部署属于自己的大语言模型(Ollama + open-webui + deepseek-r1)

文章目录

• • • [1 在Windows系统中安装Ollama，并成功启动；](#1 在Windows系统中安装Ollama，并成功启动；)
    • [2 非docker方式安装open-webui](#2 非docker方式安装open-webui)
    • 3下载并部署模型deepseek-r1

---

• Ollama

  Ollama 是一个命令行工具，用于管理和运行机器学习模型。它简化了模型的下载与部署，支持跨平台使用，包括 Windows、Linux 和 MacOS 系统。用户可以通过 Ollama 访问丰富的模型库，如 Qwen、Llama 等，并支持自定义模型参数。

• open-webui

  open-webui 是一个用户友好的 Web 界面，用于与大型语言模型进行交互。它提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。类似于chatgpt的web界面；

• deepseek-r1

  DeepSeek-R1 是由中国公司 DeepSeek 开发的大型语言模型。它以成本效益高和开放性受到科学家的欢迎，能够生成类似于人类推理过程的逐步响应。

---

1 在Windows系统中安装Ollama，并成功启动；

• 在ollama官网中下载OllamaSetup.exe；
  
• 点击OllamaSetup.exe进行安装；按照提示一步步安装；
  
• 安装完成以后，直接去系统托盘里面查看ollama是否已经启动，存在则代表启动成功；后面第二次启动则像下图一样；
  
• 这个时候其实已经可以在CMD窗口中，通过ollama下载开源的大语言模型，并在本地进行部署，下图就是以Google的开源模型gemma2为例子；
  
• 在ollama的library网页可以查看ollama可以下载并部署的大语言模型，如下图选择的就是deepseek-r1：14b模型；
• "B" 指的是模型的参数数量，例如"7B"即这个模型有70亿（Billion）个参数。
• 参数是机器学习模型中用来从数据中学习的变量。
• 参数数量是衡量模型复杂度和容量的一个指标，通常参数数量越多，模型的表达能力越强，但同时也需要更多的数据和计算资源来训练。
• 所以在本地部署模型的时候，要根据电脑配置选取合适参数变量的模型；
  

2 非docker方式安装open-webui

使用 PyCharm 作为集成开发环境（IDE），并结合 Miniconda 来管理 Python 环境和依赖

• 1. pycharm创建项目(按需命名)，miniconda创建虚拟环境，注意创建时选用的python版本需要大于等于3.11；
     
• 2. 在pycharm终端确认虚拟环境已经激活，然后通过以下命令安装open-webui，安装过程会有些慢；

  pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

• 安装的时候会在这个地方卡很久，请耐心等待5-10mins左右；
  

• 3.通过以下命令启动open-webui，下图是我第二次启动的样子，第一次应该会比较慢，需要安装很多依赖包；如果过程中出现安装失败的情况，就需要科学上网解决；或者访问这个视频网址，根据up主的方式去解决；

open-webui serve       

• 4.根据上面的信息，open-webui是部署在本机的8080端口上，所以通过以下网址可以进行访问，访问以后来到注册界面，如下图，这个注册只需要填写信息即可注册，且第一个注册人员就是管理员；

localhost:8080

• 5. 成功登陆以后界面如下，将界面语言设置成简体中文；
     

3下载并部署模型deepseek-r1

• 1.在open-webui中按照下图标注打开管理模型的界面；
  

• 2.点击标注的地方；
  

• 3.按照以下标注顺序下载和部署模型
  

• 下载完成以后，就可以按照下图，在"新对话"的界面中选取部署好的模型，然后就能正常使用了；
  

---

更多关于open-webui的使用可以参考：

• 三分钟一键部署Ollama！解压即用！
• OpenWebUI+Ollama本地部署保姆级教程（非Docker），轻松搭建大语言模型！