【大模型】Win11 部署 DeepSeek+ RAGFlow0.27.2 (Ollama方案,断网可用)

文章目录

【大模型】Win11 部署 DeepSeek+ RAGFlow0.27.2 (Ollama方案,断网可用)

最终版脚本下载

https://download.csdn.net/download/cnxzzcn/93430748

整体架构:Ollama跑DeepSeek大模型(宿主机Win11),Docker容器跑RAGFlow知识库服务,全部模型/镜像提前下载,之后断网运行,文档、向量、LLM推理全部本地,不上传外网。

硬件建议

  • 内存:≥16G;推荐32G。7B模型16G勉强;32B建议≥32G
  • 显卡:N卡带CUDA最好,无N卡可用CPU(慢很多)
  • 磁盘:预留≥50GB,模型占用大

笔者电脑配置:

Ultra5 125H + 32G 内存,Arc 核显(仅 128MB 显存,无法跑模型显存加速,走 CPU + 内存推理)选 deepseek-r1:7b-q4_k_m,兼顾效果、内存占用,32G 内存完全 hold 住,RAG 检索流畅

前置:Win11开启WSL2+虚拟化,安装Docker Desktop、Ollama。

离线核心思路:先在有网机器一次性下载所有模型+docker镜像,拷贝到离线主机导入

一、下载ollama(只做一次,之后断网部署)

  1. 官网:https://ollama.com/download

  2. 纯绿色便携压缩包 ollama-windows-amd64.zip(GitHub Releases)

    https://github.com/ollama/ollama/releases

区分一下这几个 Windows 包,避免下错

  1. ollama-windows-amd64.zip(你选的,推荐)
    通用 CPU 版本,支持 CPU 推理、N 卡 CUDA,适配我的 Ultra5 125H + Arc 核显,无额外依赖。
  2. ollama-windows-amd64-rocm.zip:AMD 显卡专用,我的是 Intel 平台不要下。
  3. ollama-windows-amd64-mlx.zip:苹果 MLX,Windows 完全用不上。
  4. ollama-windows-arm64.zip:给 ARM 架构笔记本(比如骁龙本),我的机器不用。

对,就是 ollama-windows-amd64.zip

你的CPU是Ultra5 125H,x86_64架构,amd64就是标准Windows版本。

区分一下这几个Windows包,避免下错

  1. ollama-windows-amd64.zip(你选的,推荐)
    通用CPU版本,支持CPU推理、N卡CUDA,适配你的Ultra5 125H + Arc核显,无额外依赖。
  2. ollama-windows-amd64-rocm.zip:AMD显卡专用,你Intel平台不要下。
  3. ollama-windows-amd64-mlx.zip:苹果MLX,Windows完全用不上。
  4. ollama-windows-arm64.zip:给ARM架构笔记本(比如骁龙本),你的机器不用。

我这里选绿色版

绿色便携包部署步骤(离线)

  1. 下载 ollama-windows-amd64.zip,解压到D盘,例如 D:\data\ollama


  1. 提前设置系统环境变量(断网机器先配置)

    OLLAMA_HOST=0.0.0.0:11434
    OLLAMA_MODELS=D:\data\ollama_models
    OLLAMA_NUM_PARALLEL=1
    OLLAMA_MAX_LOADED_MODELS=1

  1. 新建 start_ollama.bat,内容直接复制:

    @echo off
    ollama.exe serve
    pause

双击bat就启动ollama后台服务,窗口不能关;关闭窗口服务就停止。

  1. 双击bat运行ollama,然后新开PowerShell测试
powershell 复制代码
ollama list

⚠️ 注意:绿色版不会自动注册成Windows后台服务,每次开机都要手动运行这个bat脚本启动ollama。

如果不想每次手动开窗口,就改用 OllamaSetup.exe 安装版,自动后台常驻。

1. Ollama安装 & 下载DeepSeek + Embedding向量模型

  1. 下载 OllamaSetup.exe 安装,安装后配置环境变量
    • OLLAMA_HOST=0.0.0.0:11434 允许容器访问宿主机ollama
    • OLLAMA_MODELS=D:\ollama_models 模型存放目录(放到非C盘)
      环境变量修改后重启电脑生效
  2. PowerShell下载模型(联网)
powershell 复制代码
# 向量模型
ollama pull bge-m3
# 大模型 deepseek-r1:7b(默认q4_K_M量化)
ollama pull deepseek-r1:7b

deepseek-r1:8b:主LLM;bge-m3:向量Embedding模型,RAG检索必须。

下载完成后,模型文件全部在 D:\ollama_models,直接拷贝整个文件夹到离线电脑。

二、Docker Desktop离线部署RAGFlow

1. 下载离线安装程序

  1. Docker Desktop 安装包
    官网下载稳定版安装程序 Docker Desktop Installer.exe,不要在线下载,保存本地。

下载地址:https://www.docker.com/products/docker-desktop/

  1. WSL2 Linux内核更新包(微软官方,离线安装必需)
    wsl_update_x64.msi

下载地址:https://learn.microsoft.com/zh-cn/windows/wsl/install-manual#step-4---download-the-linux-kernel-update-package

按照官网的来:

bash 复制代码
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

2. 联网机安装Docker Desktop

  1. 双击 Docker Desktop Installer.exe,安装时勾选 Use WSL 2 instead of Hyper-V
  2. 安装完成启动Docker Desktop,等待WSL虚拟机初始化完成
  3. 配置Docker国内镜像加速
    打开Docker Desktop → Settings → Docker Engine,粘贴下面JSON,全替换,Apply & restart
json 复制代码
{
  "registry-mirrors": [
    "https://docker.m.daocloud.io"
  ]
}
  1. 设置ES必需内核参数(每次重启Docker都要执行)
    管理员PowerShell执行:
powershell 复制代码
wsl -d docker-desktop -u root sysctl -w vm.max_map_count=262144

3. 获取RAGFlow源码并拉取镜像

  1. 下载RAGFlow源码ZIP:https://github.com/infiniflow/ragflow → Code → Download ZIP
    解压到 D:\data\ragflow
  2. 进入docker目录
powershell 复制代码
cd D:\data\ragflow\docker
  1. 拉取镜像(国内推荐CN配置)
powershell 复制代码
docker compose up -d

等待所有容器下载、启动完成。

验证:docker ps,看到 ragflow-server、elasticsearch、mysql、redis、minio 全部容器状态为Up。


浏览器访问 http://localhost 能打开RAG网页,注册管理员账号。

三、编辑启停脚本

完整格式化脚本(直接全选复制保存为 start_rag_env.ps1

powershell 复制代码
<#
一键启动RAG环境:启动docker compose + 启动Ollama
#>
Write-Host "===== 正在启动 docker compose =====" -ForegroundColor Cyan
Set-Location D:\data\ragflow\docker
docker compose up -d

Write-Host "`n===== 正在启动 Ollama =====" -ForegroundColor Cyan
Start-Process "D:\data\Ollama\ollama.exe"

Write-Host "`n✅ 启动完成,等待Ollama服务就绪..." -ForegroundColor Green

配套bat包装器(start_rag_env.bat,双击运行这个bat)

bat 复制代码
@echo off
powershell -ExecutionPolicy Bypass -File "D:\data\ragflow\start_rag_env.ps1"
pause

✅ 把bat和ps1都放在D:\data\ragflow\目录,双击bat即可运行,不会用记事本打开。

配套停止脚本 stop_rag_env.ps1

powershell 复制代码
<#
一键停止RAG环境:停止docker compose + 关闭Ollama
#>
Write-Host "===== 正在停止 docker compose =====" -ForegroundColor Cyan
Set-Location D:\data\ragflow\docker
docker compose stop

Write-Host "`n===== 正在关闭 Ollama =====" -ForegroundColor Cyan
Stop-Process -Name ollama -ErrorAction SilentlyContinue
Stop-Process -Name ollama-runner -ErrorAction SilentlyContinue

Write-Host "`n✅ 操作完成:Docker Compose已停止,Ollama进程已关闭" -ForegroundColor Green

配套停止的bat stop_rag_env.bat

bat 复制代码
@echo off
powershell -ExecutionPolicy Bypass -File "D:\data\ragflow\stop_rag_env.ps1"
pause

⚠️ 重要校验点

  1. Ollama路径:D:\data\Ollama\ollama.exe 确认你的ollama.exe真实位置,错了会启动失败
  2. docker compose stop:只暂停容器,不删除容器,数据保留 ;如果想彻底销毁容器,换成 docker compose down
  3. 第一次运行bat,黑色窗口会输出日志,方便看报错

可选增强(等待Ollama端口就绪,RAGFlow不会连不上)

如果你想让脚本等待Ollama 11434端口监听成功再结束,用这个增强版start脚本:

powershell 复制代码
<#
一键启动RAG环境:启动docker compose + 启动Ollama(等待端口就绪增强版)
#>
Write-Host "===== 正在启动 docker compose =====" -ForegroundColor Cyan
Set-Location D:\data\ragflow\docker
docker compose up -d

Write-Host "`n===== 正在启动 Ollama =====" -ForegroundColor Cyan
Start-Process "D:\data\Ollama\ollama.exe"

Write-Host "`n⏳ 等待Ollama 11434端口就绪..." -ForegroundColor Yellow
do{
    $portCheck = Test-NetConnection localhost -Port 11434 -InformationLevel Quiet
    Start-Sleep -Milliseconds 800
}while(-not $portCheck)

Write-Host "`n✅ Ollama服务就绪!RAG环境全部启动完成" -ForegroundColor Green

对应的启动包装脚本 start_rag_env.bat(双击运行)

保存到 D:\data\ragflow\start_rag_env.bat

powershell 复制代码
@echo off
powershell -ExecutionPolicy Bypass -File "D:\data\ragflow\start_rag_env.ps1"
pause

四、处理脚本乱码问题(最终稿)

纯中文移除版,零编码问题

Windows PowerShell 控制台默认代码页是GBK ,就算文件存成UTF‑8,中文汉字依然会乱码。

解决办法:

全部删掉中文只用英文(不会乱码)

(纯中文移除版,零编码问题)

start_rag_env.ps1

powershell 复制代码
<#
Start RAG environment: start docker compose + Ollama serve, wait port 11434
#>
Write-Host "===== Starting docker compose =====" -ForegroundColor Cyan
Set-Location D:\data\ragflow\docker
docker compose up -d

Write-Host "`n===== Starting Ollama serve =====" -ForegroundColor Cyan
# 启动ollama后台服务,不阻塞当前脚本
Start-Process -FilePath "D:\data\Ollama\ollama.exe" -ArgumentList "serve"

Write-Host "`n⏳ Waiting for Ollama port 11434 ready..." -ForegroundColor Yellow
do{
    $portCheck = Test-NetConnection localhost -Port 11434 -InformationLevel Quiet
    Start-Sleep -Milliseconds 800
}while(-not $portCheck)

Write-Host "`n✅ Ollama ready. RAG environment started." -ForegroundColor Green


#如果提示权限禁止执行脚本,在管理员 PS 执行一次放行(仅一次)
#Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

配套bat包装器(start_rag_env.bat,双击运行这个bat)

bat 复制代码
@echo off
powershell -ExecutionPolicy Bypass -File "D:\data\ragflow\start_rag_env.ps1"
pause

✅ 把bat和ps1都放在D:\data\ragflow\目录,双击bat即可运行,不会用记事本打开。

stop_rag_env.ps1

powershell 复制代码
<#
Stop RAG environment: stop docker compose and kill Ollama
#>
Write-Host "===== Stopping docker compose =====" -ForegroundColor Cyan
Set-Location D:\data\ragflow\docker
docker compose stop

Write-Host "`n===== Closing Ollama =====" -ForegroundColor Cyan
Stop-Process -Name ollama -ErrorAction SilentlyContinue
Stop-Process -Name ollama-runner -ErrorAction SilentlyContinue

Write-Host "`n✅ Done: Docker stopped, Ollama closed." -ForegroundColor Green


#如果提示权限禁止执行脚本,在管理员 PS 执行一次放行(仅一次)
#Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

配套停止的bat stop_rag_env.bat

bat 复制代码
@echo off
powershell -ExecutionPolicy Bypass -File "D:\data\ragflow\stop_rag_env.ps1"
pause
相关推荐
新时代牛马1 小时前
docker run 起不来?从dockerd、containerd 到runc 一条线讲透
运维·docker·容器
JavaPub-rodert1 小时前
Docker 安装 MySQL 完整教程:从零部署数据库,到生产环境持久化配置
数据库·mysql·docker
顾城猿2 小时前
LoRA基础
语言模型
韩曙亮2 小时前
【AI 大模型】国内各平台 AI 大模型 价格、性能 对比分析 ② ( 智谱 BigModel | 腾讯云 TokenHub | 千问 AI 平台 )
人工智能·ai·大模型·腾讯云·ai大模型·千问·智谱
努力努力再努力wz3 小时前
【Docker 入门系列】:从 Namespace、CGroup 到 LXC:理解容器运行时、rootfs 与 LXC 实战
运维·docker·容器
张忠琳4 小时前
【deepseek-harness】DeepSeek Harness Agent Loop 模块深度架构分析之二
ai·agent·deepseek·harness·dsh
JavaPub-rodert4 小时前
Docker 多阶段构建:为什么生产环境镜像可以小 90%
运维·docker·容器
科技每日热闻4 小时前
AI创业公司需要GPU算力进行模型训练和推理,推荐选择哪些云平台?
ai
余槐i5 小时前
使用Ollama本地部署和测试Kimi、GLM等多款大语言模型实战
人工智能·语言模型·自然语言处理·大模型·api