前阵子看到一个挺有意思的帖子，讲的是用本地运行的AI模型来增强Obsidian笔记能力。这个思路其实很实用------把大语言模型变成你个人知识库的"外脑"，既能回答问题，又能帮你整理笔记，关键是数据完全不用离开自己的电脑。

借着这个机会，把整个方案梳理一下，从模型选择到具体配置，手把手教你在自己的机器上跑通这套系统。

为什么需要本地AI第二大脑

现在用云端AI服务已经很方便了，但很多人还是有本地化的需求，主要集中在三个方面：

数据隐私是最大的考量。你的笔记里可能有很多私人内容、工作敏感信息，甚至未公开的想法。交给第三方AI服务处理，总归有些不放心。本地运行的话，数据从始至终都在你自己的机器上。

离线可用也是刚需。出差途中、飞机上、信号不好的地方，云端API用不了，但本地模型照常跑。对于经常移动办公的人来说，这个很重要。

还有一个容易被忽视的点------成本。API调用按token计费，用多了确实是一笔开支。本地模型一次性投入，长期来看反而划算。

技术方案概览

整套方案由三个核心组件构成：

Gemma 4是Google最新开源的模型系列，Apache 2.0协议，完全免费可商用。26B MoE版本是性价比最高的选择------总参数260亿，但推理时只激活约38亿参数，速度接近4B模型，知识储备却接近26B模型。16GB显存就能跑，很适合消费级显卡。

Ollama是本地大模型运行框架，一条命令就能下载和运行模型，不用折腾CUDA配置、环境变量这些复杂的东西。它自动处理量化优化，还提供OpenAI兼容的API接口，现有工具基本都能无缝接入。

Obsidian是这几年很火的笔记工具，基于Markdown，纯文本存储，支持双向链接。本地REST API插件可以让外部程序直接操作笔记------创建、读取、修改、删除，都能通过HTTP请求完成。

Ollama本地大模型部署架构

开始部署：安装Ollama和Gemma 4

安装Ollama

Ollama支持macOS、Linux和Windows，官网提供一键安装包。Linux/macOS终端执行：

复制代码

curl -fsSL https://ollama.com/install.sh | sh

Windows用户直接下载安装包，双击运行即可。安装完成后验证：

ollama --version

拉取Gemma 4模型

根据你的硬件配置选择合适的版本：

推荐：26B MoE版本，性价比最高 ollama pull gemma4:26b # 显存有限可选E4B版本，6GB显存即可运行 ollama pull gemma4:e4b # 最高质量但需要24GB显存 ollama pull gemma4:31b

模型下载完成后，用简单的问题测试一下：

ollama run gemma4:26b "你好，介绍一下你自己"

如果能正常回复，说明部署成功。

Obsidian插件配置

要让AI能读写你的笔记，需要在Obsidian里安装几个插件。

安装Local REST API

这个插件是整个系统的关键，它给Obsidian提供了一个HTTP接口。

打开Obsidian → 设置 → 社区插件市场 → 搜索"Local REST API" → 安装并启用。

启用后会自动生成API密钥，记得保存下来，后面会用到。默认端口是27124。

安装MCP Tools

MCP（Model Context Protocol）Tools插件让AI能够以MCP服务的形式访问Obsidian。

社区插件市场搜索"MCP Tools"安装。这个插件依赖前面安装的Local REST API，以及Smart Connections和Templater，确保这三个都装好。

安装Smart Connections

这个插件负责语义搜索，能让AI理解笔记之间的关联关系。安装后在设置里默认配置就行，它会自动为笔记库建立向量索引。

连接AI和笔记系统

插件装好后，需要把Ollama和Obsidian连接起来。这里以Claude Desktop为例，其他支持MCP的AI客户端原理类似。

配置Claude Desktop

找到Claude的配置文件（macOS是~/Library/Application Support/Claude/claude_desktop_config.json），添加MCP服务器配置：

复制代码

{
  "mcpServers": {
    "obsidian": {
      "command": "node",
      "args": ["/path/to/obsidian-mcp-tools/server.js"],
      "env": {
        "OBSIDIAN_API_KEY": "你的API密钥",
        "OBSIDIAN_PORT": "27124"
      }
    }
  }
}

重启Claude Desktop，就能在设置里看到Obsidian MCP Tools已连接。

验证连接

现在可以让AI试着读取你的笔记库：

请列出我Obsidian笔记库中最近的5篇笔记

如果AI能正确返回笔记列表，说明整个链路打通了。

AI读取和写入Obsidian笔记的工作流程

实际应用场景

这套系统跑通后，能做的事情挺多的。

知识库问答

直接问AI："我笔记里关于XX主题的内容有哪些？"AI会通过语义搜索找到相关笔记，读取全文后给你总结。

跨笔记整理

让AI把某个文件夹下所有相关笔记整理成一篇综述文章，直接在笔记库里创建新文件。

批量修改

统一修改笔记格式、更新标签、调整元数据，AI可以批量处理，不用手动一个个改。

写作辅助

基于你笔记库里的内容，让AI帮你写初稿、润色文章、生成摘要。

一些细节和注意事项

MCP Tools的server.js文件路径需要根据你实际的安装位置填写，可以在Obsidian的MCP Tools设置界面查看。

安全问题不用太担心。Local REST API用API密钥认证，所有通信走localhost，不会暴露到公网。AI客户端默认也不会把对话用于模型训练。

如果遇到连接问题，先检查Ollama服务是否正常运行，再确认API密钥和端口配置是否正确。日志信息一般在Obsidian的MCP Tools设置里能看到。

这套方案把Gemma 4的推理能力、Obsidian的笔记管理能力和Ollama的便捷部署结合在一起，实现了完全本地运行的AI辅助知识管理。数据不离开自己的电脑，功能却不输云端服务。

如果你正在找一种既安全又实用的方式来管理个人知识库，这套方案值得一试。

用Gemma 4和Obsidian打造本地AI第二大脑