DeepSeek 最新开源模型 Windows 本地部署完全指南（2026 版）

为什么在 Windows 上跑本地大模型，现在是一个务实的选择

2026 年的本地大模型生态已经和两年前完全不同。DeepSeek 在 2026 年 4 月开源了 V4 系列，其 Pro 版本拥有 1.6 万亿参数，激活参数仅 49B，以极致的稀疏化设计在编程和数学领域达到了与闭源旗舰同等的量级。但真正让 Windows 用户受益的，是 DeepSeek 同步放出的蒸馏版本------包括 Qwen 3.5-9B-DeepSeek V4-Flash（9B 参数，Q4 量化下内存占用约 18.6GB）以及经典的 R1 蒸馏系列（1.5B 到 70B）。这些模型让一台配备 RTX 3060 12GB 或 RTX 4060 Ti 16GB 的普通台式机，也能在完全离线、数据不出本机的前提下，获得接近云端服务的推理能力。

这篇文章面向的是"想在 Windows 上真正把 DeepSeek 跑起来"的读者，不假设你熟悉 Linux 命令，也不要求你会写 Python。全文以 Ollama 和 LM Studio 两条路线为主线，覆盖模型选型、硬件判断、逐步部署、性能调优和常见故障处理，目标是让你读完就能在自己的机器上得到一个可用的本地 DeepSeek 推理服务。

第一步：搞清楚"你要跑的是哪个 DeepSeek"

DeepSeek 的开源模型并不是一个单一模型，而是一个从 1.5B 到 1.6T 的谱系。选错模型，要么跑不动，要么"跑得动但不够用"。

完整模型与蒸馏模型的区别

满血版 DeepSeek V4 Pro（1.6T 参数）和 R1（671B 参数）需要数百 GB 显存，属于多卡服务器或 8×A100/H100 的范畴，Windows 桌面环境基本不具备可行性。本地部署的现实路径是蒸馏模型（Distilled Models）：用一个较小的基座模型（Qwen 或 Llama）去学习大模型在推理过程中产生的输出分布，从而把"推理能力"迁移到小参数量上。你在 Ollama 中看到的 deepseek-r1:1.5b、:7b、:8b、:14b、:32b、:70b，全部是蒸馏版本。2026 年的新选项还包括 Qwen 3.5-9B-DeepSeek V4-Flash，它以 Qwen 3.5-9B 为基座，用 DeepSeek V4 的高质量数据进行蒸馏，在 9B 参数量下保留了 V4 在编程和数学上的大部分风格与能力。

按硬件选模型的实用对照表

显存是硬约束，内存是软约束，两者共同决定你能跑多大的模型。以下是 Q4_K_M 量化下的典型需求：

模型	参数	Q4 量化后内存/显存需求	推荐硬件
`deepseek-r1:1.5b`	1.5B	~2 GB	任何 8GB 内存的机器，无独显也可
`deepseek-r1:7b` / `:8b`	7B/8B	~5--6 GB	8GB 显存（RTX 3060/4060），或 16GB 内存纯 CPU
`deepseek-r1:14b`	14B	~9--10 GB	12GB 显存（RTX 3060 12G），16GB 内存可勉强 CPU 运行
`deepseek-r1:32b`	32B	~20 GB	24GB 显存（RTX 3090/4090），或 32GB 内存 + 部分 GPU 卸载
`deepseek-r1:70b`	70B	~43 GB	2×24GB GPU，或 64GB 内存的 Mac/PC
Qwen3.5-9B-DeepSeek-V4-Flash (Q4)	9B	~18.6 GB（统一内存场景）	大内存核显/独显机器，或 12GB+ 显存 + 系统内存分担

如果完全不想纠结参数，一个稳妥的起点是 deepseek-r1:8b：它在 8GB 显存的笔记本和台式机上都能获得可用的速度，推理质量足以应付日常问答、代码补全和逻辑分析。真正需要"更强推理"时，再向 14B 或 32B 迁移。

第二步：Ollama 路线------用命令行在十分钟内跑起来

Ollama 是目前 Windows 上启动本地大模型最省事的工具。它的定位是"模型运行引擎"：安装后常驻后台，在本机 127.0.0.1:11434 提供 API，命令行和第三方界面都可以直接调用。

安装 Ollama

从官网 ollama.com/download 下载 OllamaSetup.exe。2026 年的安装包带有 Ollama Inc. 的数字签名，安装过程不需要管理员权限，默认装到 C:\Users\<用户名>\AppData\Local\Programs\Ollama，一路点击 Install 即可。安装完成后，任务栏托盘会出现一个羊驼图标，说明后台服务已经启动。

验证安装：

powershell 复制代码

ollama --version

如果返回版本号，说明环境就绪。

拉取并运行 DeepSeek 模型

打开 PowerShell 或 CMD，执行：

powershell 复制代码

ollama run deepseek-r1:8b

首次执行会自动从 Ollama 模型库下载约 5GB 的文件，下载完成后直接进入聊天界面。你可以输入一个带有推理性质的问题，比如"9.11 和 9.9 哪个大，为什么"，观察模型是否输出 <think>...</think> 形式的思维链。DeepSeek-R1 系列的标志性行为就是在给出最终答案之前先展开推理步骤，这也是它在数学和代码任务上表现突出的原因。

如果要换用更小的模型做快速验证：

powershell 复制代码

ollama run deepseek-r1:1.5b

1.5B 版本的内存占用可以压到 3GB 以下，在 INT8 精度下推理吞吐量是原始模型的数倍，适合老旧笔记本或纯粹的"先跑通流程"场景。

让 Ollama 在后台持续服务

ollama run 是交互式会话，退出后模型就从显存中释放了。如果后续要接入 Open WebUI、AnythingLLM 或其他客户端，需要让 Ollama 以服务模式运行：

powershell 复制代码

ollama serve

这条命令会让 Ollama 在后台监听 11434 端口，供其他程序通过 HTTP API 调用。Windows 下 Ollama 安装后通常已经以系统服务方式常驻，托盘图标存在即表示服务在运行；ollama serve 主要用于调试或手动确认端口状态。

第三步：LM Studio 路线------纯图形界面，零命令操作

如果你不想碰终端，或者需要把模型部署给不熟悉命令行的同事使用，LM Studio 是更友好的选择。它是一个完整的桌面应用，把模型发现、下载、加载、聊天全部做成了鼠标操作。

从 lmstudio.ai 下载 Windows 安装包，双击安装。首次启动时 LM Studio 会引导你下载第一个模型，可以跳过，然后进入主界面。在左侧的 Discover 标签页搜索 DeepSeek R1，你会看到一系列 GGUF 格式的蒸馏版本。对于 8GB 显存的机器，选择 DeepSeek-R1-Distill-Qwen-7B 或 DeepSeek-R1-Distill-Llama-8B 的 Q4_K_M 文件即可；下载完成后切换到 Chat 标签页，在顶部模型选择器中加载它，就可以开始对话。

LM Studio 的一个实用特性是它内置了硬件探测和卸载策略：当你加载一个显存放不下的模型时，它会自动把部分层保留在系统内存中，用速度换可用性。对于 14B 或 32B 模型，你可以在加载配置中手动调整 GPU Offload 的层数------显存紧张时降低层数，让更多计算走 CPU。这比在命令行里反复试错要直观得多。

量化怎么选：Q4 还是 Q5，什么时候该"降级"

量化是在精度和资源之间做权衡。对绝大多数 Windows 用户，Q4_K_M 是默认的甜点选择：7B 模型大约 4--5GB，精度损失通常控制在 1% 以内，速度也处于较好水平。Q5_K_M 把精度损失压到 0.3% 左右，但显存占用会上升约 20--30%，适合显存有明显余量的场景（例如 12GB 显存跑 7B/8B，或 24GB 显存跑 14B）。

一个常被忽视的"隐形显存杀手"是上下文长度。Ollama 的 num_ctx 默认值可能较高，KV Cache 会随上下文线性增长。如果你在 8GB 显存上跑 7B 模型时遇到 OOM，把 num_ctx 从默认值降到 4096 通常能释放出可观的显存，而日常对话和代码补全很少需要超过 4K 的上下文。

性能调优：让 Ollama 把每一层都放对位置

Ollama 的默认调度策略是"尽量用 GPU"，但在显存紧张时，手动控制 GPU 卸载层数比自动策略更可靠。你可以通过 Modelfile 固化一组参数，避免每次运行都重复指定。

创建一个文本文件，命名为 Modelfile.deepseek：

复制代码

FROM deepseek-r1:8b
PARAMETER num_gpu 99
PARAMETER num_ctx 4096
PARAMETER num_thread 8

num_gpu 99 表示尽可能把所有层放到 GPU 上；如果显存不够，Ollama 会自动溢出到 CPU，但 99 是一个明确的"优先 GPU"信号。num_thread 建议设为物理核心数（不是逻辑线程数），对于 6 核 12 线程的 CPU，设为 6 或 8 都可以，Ollama 会做合理调度。

构建并运行自定义模型：

powershell 复制代码

ollama create deepseek-r1-8b-tuned -f Modelfile.deepseek
ollama run deepseek-r1-8b-tuned

如果目标是"显存刚好卡在边界"的场景------比如 8GB 显存跑 8B 模型------更务实的做法是把 num_gpu 设为一个中间值（如 20--25），让最后几层走 CPU。GPU 负责大部分矩阵运算，CPU 承担少量层，整体速度会比"全部塞 GPU 导致 OOM"或"全部走 CPU"都更好。

从"能跑"到"好用"：Web 界面与本地知识库

命令行聊天适合验证和调试，但日常使用需要一个像 ChatGPT 的界面。Open WebUI 是目前与 Ollama 配合最成熟的方案：Docker 一条命令启动，浏览器打开 localhost:3000，在设置中填入 Ollama 地址 http://host.docker.internal:11434，即可在网页界面中选择本地的 DeepSeek 模型并对话。

如果你需要"让模型读自己的文档"，AnythingLLM 在 Ollama 之上补上了 RAG（检索增强生成）层。它内置向量数据库，支持上传 PDF、Word、Markdown 等文档，检索到的相关片段会自动拼接到发给 DeepSeek 的提示中。部署方式同样是 Docker 一键启动，浏览器访问 localhost:3001，在 LLM 提供方中选择 Ollama，填入模型名称即可。这套组合完全离线运行，文档和对话不会离开本机，适合处理公司内部资料或个人知识管理。

常见故障与排错清单

OOM：显存不足。 最先尝试的是降低 num_ctx，其次是换用量化更激进的版本（Q4→Q3），最后才是换更小的模型。在 LM Studio 中则降低 GPU Offload 层数。

"CUDA out of memory"出现在模型加载阶段而非推理阶段。 这通常意味着模型本身超出了显存容量，而不是上下文导致的。换小一号的模型或使用 Q4 以下的量化。

Ollama 命令找不到或服务未启动。 Windows 安装后如果 ollama 命令不可用，重新打开一个终端窗口；服务未运行时，检查托盘图标是否存在，或手动执行 ollama serve 查看日志输出。

AMD 显卡或纯 CPU 环境。 Ollama 对 NVIDIA 的支持最成熟，AMD ROCm 在 Windows 上的支持仍然有限。如果没有 NVIDIA 独显，直接用 CPU 模式跑 1.5B--8B 模型是可行的：7B 模型在 16GB 内存的现代 CPU 上通常能达到 5--15 token/s，足以满足问答和代码补全的节奏。不要在没有 NVIDIA 显卡的机器上强行追求 14B 以上的模型，CPU 推理会慢到影响使用。

把 DeepSeek 在 Windows 上跑通之后，下一步自然是把它从"一个聊天窗口"变成"一个可以被程序调用的服务"。Ollama 本身就是一个 HTTP 服务器，你之前用 ollama run 或 Open WebUI 调用的每一次对话，底层都是通过它的 REST API 完成的。这一节要做的，就是把这个 API 正式地暴露出来，让 Python 脚本、你写的应用、或者局域网里的另一台设备能够调用它。

写在最后：本地部署的边界与价值

在 Windows 上跑 DeepSeek 的蒸馏模型，得到的不是一个"缩小版 GPT-5"，而是一个在特定维度上足够好用、且完全由你控制的推理工具。8B 级别的 R1 蒸馏版在代码解释、逻辑拆解、文档摘要上的表现已经接近两年前的中型闭源模型；32B 级别在数学和复杂推理上进一步逼近实用阈值。它们当然不如满血 V4 Pro，但换来的是：数据不出本机、没有 token 账单、没有速率限制、断网可用、随时可以为了一个实验反复调用而不心疼成本。

如果你手边是一台 16GB 内存的轻薄本，从 deepseek-r1:1.5b 开始，把 Ollama 和 Open WebUI 的链路跑通，再根据实际体验决定是否值得为更大的模型升级硬件。如果你已经有一张 12GB 或 16GB 显存的台式机显卡，deepseek-r1:8b 配合 Q4_K_M 量化就是当下最没有遗憾的起点。本地部署的门槛从来没有像 2026 年这样低------真正的门槛不在技术，而在于你是否愿意花二十分钟，把第一条 ollama run 敲进终端。