大模型本地部署

Docker安装

1)操作系统：Windows 10 64-bit: Pro, Enterprise, or Education (Build 15063 or later) 或Windows 11。

2)硬件：支持虚拟化技术的处理器和至少 4 GB 的内存。

3)虚拟化：确保 BIOS 中已启用虚拟化技术（如 Intel VT-x 或 AMD-V）。

如何查看是否开启了虚拟化技术：Ctrl+Alt+Delete，打开任务管理器，点击性能

如果没有开启虚拟化技术，在BIOS中开启虚拟化技术：

首先开机进入BIOS，一般机器是按F2，自己可以上网查看自己电脑到底是按哪个键，选择configuration按回车键进入。进行后选择蓝色的第三个Secure Virtual Machine Mode。按回车键进入后选择Enabled开启，然后再按回车键确认。选定后，在键盘上按F10保存，弹出一个对话框，选择OK，按回车键确认保存，然后电脑就会自动重启。虚拟化设置就打开了

如果已经开启虚拟化技术，就按照如下步骤：

1)在程序和功能的窗口的左上角选择启用或关闭windows功能勾选Hyper-V和适用于linux的windows子系统和虚拟机平台，点击确认，之后他会让你重启这样准备工作就完成了

2.安装 WSL2 1)查看自己的电脑是否安装了wsl，快捷键win+r，输入cmd，按enter键，输入命令：

复制代码

wsl -l

2)如果没有安装好的话，就打开powershell并输入：

bash 复制代码

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

设置WSL版本

arduino 复制代码

wsl --set-default-version 2

win系统需要下载 DockerDesktop

www.docker.com/products/do...

安装DockerDesktop后设置 Docker Engine地址

json 复制代码

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://inhj05a1.mirror.aliyuncs.com",
    "https://docker.m.daocloud.io",
    "https://docker-0.unsee.tech",
    "https://docker.hlmirror.com"
  ]
}

执行命令验证 docker是否安装成功

docker -v

Ollama安装

ollama下载地址，下载到本地，点击安装

ollama.com/download

使用命令验证 ollama是否安装成功

复制代码

ollama list

若本地已经安装了大模型会有信息

使用命令部署大模型

arduino 复制代码

  ollama run deepseek-r1:8b

安装嵌入式模型

arduino 复制代码

ollama run shaw/dmeta-embedding-zh:latest

Ragflow安装

部署Ragflow

ragflow官网 ragflow.io/docs/dev/

Clone到本地

bash 复制代码

git clone https://github.com/infiniflow/ragflow.git  
cd ragflow/docker  
git checkout -f v0.17.2

如果执行 git clone命令出现错误可能是网络问题

可以在 C:\Windows\System32\drivers\etc 中找到 hosts文件设置

复制代码

140.82.112.4    github.com

找到 /ragflow/docker 在其目录下执行

bash 复制代码

docker compose -f docker/docker-compose.yml up -d

其中 ragflow0.17.1有坑，在模型供应商设置，添加大模型时找不到添加的大模型，建议使用0.17.2版本

使用命令查看 ragflow是否运行

复制代码

docker  ps

http://127.0.0.1/login

注意需要先注册用户

设置模型供应商

添加LLM

deepseek等属于聊天大模型，添加大模型时需要注意：模型名称: 需要和输入 ollama list 命令展示的名称保持一致基础URL:是本地IP 本地部署的大模型不用设置token

如果本地IP连接超时使用 host.docker.internal:11434

根据以上步骤添加嵌入式模型

创建知识库

点击知识库>点击创建知识库>设置嵌入式模型>选择切片方法>选择分段标识符

新增文件

点击按钮进行文件解析，解析过程会比较慢，机器使用会有点卡顿 $32G 内存+ 3060 6G$

知识库问答

企业级知识库需要3090*3 基于 deepseek 8b模型进行搭建可以满足垂直领域需求