完全本地、免费、离线的AI编程助手：Ollama + Continue 完全指南

完全本地、免费、离线的AI编程助手：Ollama + Continue 完全指南

本文汇总了在 Windows 环境下搭建完全本地、数据永不外传的 AI 编程助手的全部知识点，涵盖 Ollama 部署、模型下载、Continue 插件配置（VS Code / IntelliJ IDEA）、验证方法及常见问题。

目录

1. 为什么选择本地方案
2. 核心组件
3. [第一步：安装 Ollama](#第一步：安装 Ollama)
4. 第二步：下载并导入代码模型
   • 方案一：一行命令拉取（推荐）
   • [方案二：手动下载 GGUF 并导入](#方案二：手动下载 GGUF 并导入)
5. [第三步：安装 Continue 插件](#第三步：安装 Continue 插件)
   • [VS Code 配置](#VS Code 配置)
   • [IntelliJ IDEA 配置](#IntelliJ IDEA 配置)
6. 第四步：验证模型是否真正本地运行
7. 常见问题与故障排除
8. 性能建议与模型选择

---

为什么选择本地方案

特性	云端方案	本地方案（Ollama + Continue）
费用	免费版有限额，高级模型收费	完全免费
网络依赖	必须联网	完全离线可用
数据隐私	代码上传至服务器	数据永不离开本机
使用限制	每日次数、并发限制	无任何限制
模型控制	只能使用平台提供的模型	自由选择任何开源模型

适合对代码隐私要求高、网络条件不稳定、或希望长期免费使用 AI 编程助手的开发者。

核心组件

• Ollama：在本地运行大模型的服务，支持 Windows / macOS / Linux。
• Continue：IDE 插件（支持 VS Code、IntelliJ IDEA 等），连接 Ollama 提供代码补全、对话、内联修改等功能。
• 代码模型 ：如 StarCoder2、CodeQwen、DeepSeek-Coder 等。本文以 StarCoder2-3B 为例，兼顾性能与效果。

第一步：安装 Ollama

1. 访问 Ollama官网 下载 Windows 安装包。
2. 运行安装程序，按提示完成安装。
3. 安装后，任务栏托盘区会出现 🦙 羊驼图标，表示服务已启动。
4. （可选）打开终端（CMD 或 PowerShell），输入 ollama --version 检查版本。

注意：如果后面 Continue 连接失败，请先确认 Ollama 服务是否在运行。

第二步：下载并导入代码模型

我们使用 StarCoder2-3B 模型，它经过优化，大小约 1.7GB，内存占用约 2.2GB，对 CPU 友好。

方案一：一键拉取（推荐）

打开终端，直接运行：

ollama run novaforgeai/starcoder2:3b-optimized

Ollama 会自动下载模型并进入对话模式。输入 /bye 可退出。

下载完成后，模型名称为 novaforgeai/starcoder2:3b-optimized。

方案二：手动下载 GGUF 并导入

适用于网络受限或希望存放自定义路径的情况。

1. 下载 GGUF 文件

   访问 ModelScope 镜像站（国内快）：

   https://modelscope.cn/models/AI-ModelScope/starcoder2-3b-instruct-gguf/files

   下载带 Q4_K_M 的 .gguf 文件（如 starcoder2-3b-instruct-q4_k_m.gguf）。

2. 编写 Modelfile

   在与 .gguf 同目录下创建文本文件 Modelfile，内容：

   FROM ./starcoder2-3b-instruct-q4_k_m.gguf

3. 创建 Ollama 模型

   在终端中进入该目录，执行：

   ollama create my-starcoder2:3b -f ./Modelfile

   以后使用 my-starcoder2:3b 即可。

第三步：安装 Continue 插件

VS Code 配置

1. 安装插件

   在 VS Code 扩展商店搜索 Continue 并安装。

   额外步骤 ：要获得 Tab 代码补全，还需安装 Continue Autocomplete 插件。

2. 打开配置文件

   点击左侧 Continue 图标 → 底部齿轮图标 → Open Config File。

3. 替换内容

   将 config.json 内容替换为以下内容（注意使用你实际的模型名）：

   {
     "models": [
       {
         "title": "StarCoder2 (Code)",
         "provider": "ollama",
         "model": "novaforgeai/starcoder2:3b-optimized",
         "apiBase": "http://localhost:11434"
       }
     ],
     "tabAutocompleteModel": {
       "title": "StarCoder2 (Autocomplete)",
       "provider": "ollama",
       "model": "novaforgeai/starcoder2:3b-optimized",
       "apiBase": "http://localhost:11434"
     },
     "allowAnonymousTelemetry": false
   }

4. 重启 VS Code（完全关闭再打开）。

IntelliJ IDEA 配置

1. 安装插件

   File → Settings → Plugins → 搜索 Continue → 安装并重启 IDEA。

2. 编辑配置文件

   IDEA 重启后，右侧会出现 Continue 图标。点击后，在聊天窗口右上角找到设置图标，进入配置。

   或者直接手动编辑配置文件 ~/.continue/config.yaml（Windows：%USERPROFILE%\.continue\config.yaml）。

3. 粘贴 YAML 配置

   models:
     - title: "StarCoder2 (Code)"
       provider: ollama
       model: novaforgeai/starcoder2:3b-optimized
       apiBase: http://localhost:11434
   
   tabAutocompleteModel:
     title: "StarCoder2 (Autocomplete)"
     provider: ollama
     model: novaforgeai/starcoder2:3b-optimized
     apiBase: http://localhost:11434

4. 保存并完全重启 IDEA。

关键点 ：tabAutocompleteModel 必须单独配置，否则无法获得行内代码补全。

第四步：验证模型是否真正本地运行

使用以下方法之一快速确认：

方法1：断网测试（最直接）

断开电脑网络，在 IDE 中使用 Continue 的代码补全或聊天功能。如果能正常工作，说明完全本地。

方法2：检查配置文件

确保 config.json 或 config.yaml 中：

• provider = ollama
• apiBase = http://localhost:11434
• 没有 apiKey 字段

方法3：查看进程

打开任务管理器，确认存在 ollama.exe 进程，且提问时 CPU/内存占用明显上升。

方法4：命令行询问

curl http://localhost:11434/api/tags

返回的模型列表中应包含你配置的模型名。

常见问题与故障排除

1. Continue 显示 "Failed to connect to Ollama"

• 原因：Ollama 服务未启动。
• 解决：检查任务栏羊驼图标，或在开始菜单启动 Ollama。

2. Tab 补全不工作（VS Code）

• 原因 ：缺少 Continue Autocomplete 插件。
• 解决：在扩展商店搜索并安装该插件。

3. 模型下载速度慢或失败

• 原因：访问 huggingface 等国外源不稳定。
• 解决 ：使用国内镜像（如 ModelScope），或使用方案一的 novaforgeai/starcoder2:3b-optimized（已优化网络）。

4. IDEA 中快捷键 Ctrl+I 冲突

• 解决 ：File → Settings → Keymap 搜索 "Continue" 重新分配快捷键。

5. 模型回答质量较差

• 原因：3B 模型能力有限，适合代码补全和简单问答。
• 解决 ：可尝试更大模型如 CodeQwen-7B、DeepSeek-Coder-6.7B（需更多内存）。确保使用 Q4_K_M 量化为佳。

6. 修改 config.yaml 后不生效

• 解决 ：完全关闭 IDE 再重启，而非仅重新加载窗口。

性能建议与模型选择

模型	大小（Q4）	内存占用	推荐场景
StarCoder2-3B	1.7 GB	~2.2 GB	低配置机器，快速补全
CodeQwen-7B	4.1 GB	~5 GB	更复杂的代码生成与解释
DeepSeek-Coder-6.7B	3.8 GB	~4.5 GB	中文友好，综合能力强

调优提示：

• 如果机器内存不足，可选用更小的 Q2_K 量化版本。
• 在 config.yaml 中可添加 contextLength: 4096 调整上下文窗口。

---

总结

通过 Ollama + Continue，你可以在 Windows 上搭建一套完全免费、离线、隐私安全的 AI 编程助手。本文提供的 StarCoder2-3B 模型配置已经过验证，适合大多数日常编码场景。如果遇到任何问题，欢迎对照"常见问题"章节排查。

下一步 ：在实际项目中尝试使用 Ctrl+L 进行代码对话，Ctrl+I 进行内联修改，体验本地 AI 编程的高效与安全。

实测效果

本地离线运行会吃电脑配置，需要配置高的电脑可流畅运行。