AnythingLLM 学习

AnythingLLM 学习笔记（本地知识库搭建指南）

---

一、为什么搭建本地知识库

市面上的知识管理工具（有道、为知、思源等）各有优点，但普遍存在几个痛点：

• 知识量累积后，想借助 AI 对已有内容进行总结、问答，往往需要付费。
• 资料存在云端，隐私和安全性无法保证。
• 广告多、存储空间受限。

因此选择 AnythingLLM 自建本地知识库，理由如下：

• 开源免费、平台广：支持 Windows、Linux、macOS（Intel / Apple 芯片）。
• 离线可用：配合本地大模型，文档、向量数据全部留在本机。
• 零代码：既可做知识库检索问答，也能用拖拽式工作流编排。
• 官网：https://anythingllm.com/desktop

---

二、部署本地大模型

AnythingLLM 本身不提供模型，需要配置一个"大脑"。本地方案主流是 Ollama + DeepSeek：

1. 安装 Ollama（模型运行时，默认监听 11434 端口）。

   https://ollama.com/download/OllamaSetup.exe

2. 拉取模型，例如：

   ollama pull deepseek-r1:1.5b

3. 常用命令速查：

   ollama list        # 查看本地已有模型
   ollama run <name>  # 启动模型对话
   ollama rm <name>   # 删除模型

4. 验证：ollama list 能看到模型即为部署成功。内存紧张时选小参数量量化模型（如 1.5b / 7b），有 GPU 可选更大模型。

不想折腾本地模型的用户，可跳过本节，直接接入在线 API。

---

三、知识库部署及配置

3.1 下载与安装

• 前往官网按操作系统下载对应版本。

• macOS：将 AnythingLLM.app 拖入 Applications，首次打开若提示"来自互联网的 App"直接确认即可。

• Windows：按向导默认路径安装即可。

• 安装完成后打开主界面。

  Download | AnythingLLM

3.2 配置大语言模型（LLM）

1. 点击左下角 设置，进入设置页。
2. 左侧选择 大语言模型（LLM）。
3. LLM 提供商 选择 Ollama，程序会自动识别本地已运行的模型。
4. Ollama Base URL 填 http://127.0.0.1:11434。
5. 点击保存。

3.3 界面偏好设置

在偏好设置中调整主题与语言（建议设为中文），让后续操作更顺手。

---

四、知识库使用

4.1 新建工作区

• 点击左侧 + 号，输入工作区名称后保存。
• 工作区相互隔离：各自拥有独立的对话历史、文档和权限。

4.2 调整系统提示词

• 在工作区的聊天设置里可以修改系统提示词，让 AI 扮演指定角色或限定回答风格。
• 默认提示词大致为："根据对话、相关背景以及后续问题，仅基于上述信息回答用户，若知识库中没有相关信息则如实说明。"
  -

4.3 理解"聊天"与"查询"的区别

模式	行为	适用场景
聊天	结合 LLM 通用知识 + 检索到的文档上下文作答，文档没相关内容时也可能"硬答"	通用助手、头脑风暴
查询	仅当命中文档上下文时才回答，不命中就不答	严格的知识库问答、客服

4.4 上传文档并向量化（喂语料）

1. 上传文档：支持 pdf、Office 文档、txt、音视频、csv 等格式，并可分类管理。

2. 将文档拖入目标工作区，系统进行分割（chunking）与向量化。

3. 只有向量化成功，之后提问才能检索到对应内容。

   

4.5 设置可用模型

• 如果工作区没有勾选可用模型，对话时会报错 model is required。
• 因此新建工作区后，记得先在工作区设置里选定可用的模型。

4.6 开始聊天

• 提问后，深度思考类模型会先展示"思考过程"，再输出答案。
• 每条回复都可以点击查看引用的上下文来源，便于核实答案、避免幻觉。

---

五、接入在线大模型

如果想追求更强的推理能力，或省去本地模型的硬件负担，可以接入在线 API：

1. 在 LLM 设置中把提供商切换为 DeepSeek（或 OpenAI 等）。
2. 填入 API Key ，聊天模型选 deepseek-reasoner 一类的推理模型，保存。
3. 注意：切换后仍需在工作区里把对话模型切换为对应的在线模型。

若报错 Could not respond to message. 402 Insufficient Balance，表示在线账户余额不足，充值即可。