AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）

一、前言

---

继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距，能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。

你只需要将本地私有的 PDF、Word 文档和文本文件嵌入到本地向量库，连接上LLM，然后就可以通过对话、搜索的方式进行回答问题、提供见解，甚至生成摘要。

接下来我们就介绍一下 Mintplex Labs 的两个高度创新的开源项目。它们是 AnythingLLM （一种企业级解决方案，专为创建自定义 ChatBot（包括 RAG 模式）而设计）和 Vector Admin（一种用于有效管理多个向量存储的复杂管理 GUI）。

AnythingLLM 不仅仅是另一个聊天机器人。它是一个全栈应用程序，这意味着它融合了从数据处理到用户界面的所有技术优势。最好的部分？它是开源且可定制的。这意味着如果您有技能，您可以根据自己的喜好进行调整。或者，如果您像我一样更喜欢现成的东西，那么它开箱即用，效果非常好。

二、概述

---

2.1、AnythingLLM 介绍

AnythingLLM 是 Mintplex Labs Inc. 开发的一款开源 ChatGPT 等效工具，用于在安全的环境中与文档等进行聊天，专为想要使用现有文档进行智能聊天或构建知识库的任何人而构建。

AnythingLLM 能够把各种文档、资料或者内容转换成一种格式 ，让LLM（如ChatGPT）在聊天时可以引用这些内容。然后你就可以用它来和各种文档、内容、资料聊天，**支持多个用户同时使用，还可以设置谁能看或改哪些内容。**支持的多种LLM、嵌入器和向量数据库。

2.2、AnythingLLM 特点

• 多用户支持和权限管理：允许多个用户同时使用，并可设置不同的权限。

• 支持多种文档类型：包括 PDF、TXT、DOCX 等。

• 简易的文档管理界面：通过用户界面管理向量数据库中的文档。

• 两种聊天模式：对话模式保留之前的问题和回答，查询模式则是简单的针对文档的问答

• 聊天中的引用标注：链接到原始文档源和文本。

• 简单的技术栈，便于快速迭代。

• 100% 云部署就绪。

• "自带LLM"模式：可以选择使用商业或开源的 LLM。

• 高效的成本节约措施：对于大型文档，只需嵌入一次，比其他文档聊天机器人解决方案节省 90% 的成本。

• 完整的开发者 API：支持自定义集成。

2.3、支持的 LLM、嵌入模型和向量数据库

• LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。

• 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。

• 向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。

2.4、技术概览

整个项目设计为单线程结构，主要由三部分组成:收集器、前端和服务器。

• collector：Python 工具，可快速将在线资源或本地文档转换为 LLM 可用格式。

• frontend：ViteJS + React 前端，用于创建和管理 LLM 可使用的所有内容。

• server：NodeJS + Express 服务器，处理所有向量数据库管理和 LLM 交互。

首先，收集器是一个实用的Python工具，它使用户能够快速将来自在线资源（如指定的YouTube频道的视频、Medium文章、博客链接等）或本地文档中的可公开访问数据转换为LLM可用的格式。

该应用程序的前端采用了vitejs 和React进行构建，通过Node.js和Express服务器处理所有LLM交互和VectorDB管理。这种设计使得用户能够在直观友好的界面中进行操作，并且通过高效的服务器架构实现快速响应和管理大规模的数据。

三、AnythingLLM 部署

---

接下来开始完成本地模型（特别是文本嵌入和生成）以及向量存储的部署，所有这些都旨在与上述解决方案无缝集成。为此，我们将结合使用 LocalAI 和 Chroma。

3.1、安装 Chroma Vectorstore

该过程首先克隆官方存储库并启动 Docker 容器。

git clone https://github.com/chroma-core/chroma.git  
cd chroma  
docker compose up -d --build

为了验证向量存储的可用性，我们连接到其 API 文档，网址为：http://localhost:8000/docs

使用此 API，我们继续创建一个新集合，恰当地命名为"playground"。

curl -X 'POST' 'http://localhost:8000/api/v1/collections?tenant=default_tenant&database=default_database'   
  -H 'accept: application/json'   
  -H 'Content-Type: application/json'   
  -d '{ "name": "playground", "get_or_create": false}'

接下来，我们检查结果以确保设置正确。

curl http://localhost:8000/api/v1/collections  
  
[  
  {  
    "name": "playground",  
    "id": "0072058d-9a5b-4b96-8693-c314657365c6",  
    "metadata": {  
      "hnsw:space": "cosine"  
    },  
    "tenant": "default_tenant",  
    "database": "default_database"  
  }  
]

3.2、LocalAI 的部署

LocalAi 是一个功能齐全的 CLI 应用程序，你可以运行它来轻松启动 API 服务器，以便与 HuggingFace 上找到的开源模型聊天以及运行嵌入模型！

接下来，我们的重点转移到建立 LocalAI Docker 容器。

git clone https://github.com/go-skynet/LocalAI  
cd LocalAI  
docker compose up -d --pull always

一旦容器运行，我们就开始下载、安装和测试两个特定模型。

我们的第一个模型是来自 Bert 的句子转换器嵌入模型：MiniLM L6。

curl http://localhost:8080/models/apply   
  -H "Content-Type: application/json"   
  -d '{ "id": "model-gallery@bert-embeddings" }'  
  
curl http://localhost:8080/v1/embeddings   
  -H "Content-Type: application/json"   
  -d '{ "input": "The food was delicious and the waiter...",  
        "model": "bert-embeddings" }'  
  
{  
  "created": 1702050873,  
  "object": "list",  
  "id": "b11eba4b-d65f-46e1-8b50-38d3251e3b52",  
  "model": "bert-embeddings",  
  "data": [  
    {  
      "embedding": [  
        -0.043848168,  
        0.067443006,  
    ...  
        0.03223838,  
        0.013112408,  
        0.06982294,  
        -0.017132297,  
        -0.05828256  
      ],  
      "index": 0,  
      "object": "embedding"  
    }  
  ],  
  "usage": {  
    "prompt_tokens": 0,  
    "completion_tokens": 0,  
    "total_tokens": 0  
 }  
}

随后，我们探索 Hugging Face 的LLM：Zephyr-7B-β，这是基础 Mistral 7B 模型的改进版本。

curl http://localhost:8080/models/apply   
  -H "Content-Type: application/json"   
  -d '{ "id": "huggingface@thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf",   
        "name": "zephyr-7b-beta" }'  
  
curl http://localhost:8080/v1/chat/completions   
  -H "Content-Type: application/json"   
  -d '{ "model": "zephyr-7b-beta",   
        "messages": [{  
          "role": "user",   
          "content": "Why is the Earth round?"}],   
        "temperature": 0.9 }'  
  
{  
  "created": 1702050808,  
  "object": "chat.completion",  
  "id": "67620f7e-0bc0-4402-9a21-878e4c4035ce",  
  "model": "thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf",  
  "choices": [  
    {  
      "index": 0,  
      "finish_reason": "stop",  
      "message": {  
        "role": "assistant",  
        "content": "\nThe Earth appears round because it is  
actually a spherical body. This shape is a result of the   
gravitational forces acting upon it from all directions. The force   
of gravity pulls matter towards the center of the Earth, causing   
it to become more compact and round in shape. Additionally, the   
Earth's rotation causes it to bulge slightly at the equator,   
further contributing to its roundness. While the Earth may appear   
flat from a distance, up close it is clear that our planet is   
indeed round."  
      }  
    }  
  ],  
  "usage": {  
    "prompt_tokens": 0,  
    "completion_tokens": 0,  
    "total_tokens": 0  
  }  
}

3.3、部署和配置 AnythingLLM

成功安装模型和向量存储后，我们的下一步是部署 AnythingLLM 应用程序。为此，我们将利用 Mintplex Labs 提供的官方 Docker 镜像。

docker pull mintplexlabs/anythingllm:master  
  
export STORAGE_LOCATION="/var/lib/anythingllm" && \  
mkdir -p $STORAGE_LOCATION && \  
touch "$STORAGE_LOCATION/.env" && \  
docker run -d -p 3001:3001 \  
-v ${STORAGE_LOCATION}:/app/server/storage \  
-v ${STORAGE_LOCATION}/.env:/app/server/.env \  
-e STORAGE_DIR="/app/server/storage" \  
mintplexlabs/anythingllm:master

通过导航到 http://localhost:3001 可以访问应用程序，我们可以在其中使用直观的 GUI 开始配置过程。

在配置中，我们选择 LocalAI 后端，可通过 http://172.17.0.1:8080/v1 URL 访问，并集成 Zephyr 模型。值得注意的是，AnythingLLM 还支持其他后端，例如 OpenAI、Azure OpenAI、Anthropic Claude 2 和本地可用的 LM Studio。

接下来，我们将嵌入模型与相同的 LocalAI 后端保持一致，确保系统具有凝聚力。

接下来，我们选择 Chroma 向量数据库，使用 URL http://172.17.0.1:8000。值得一提的是，AnythingLLM 还与其他向量存储兼容，例如 Pinecone、QDrant、Weaviate 和 LanceDB。

AnythingLLM 的自定义选项包括添加徽标以个性化实例的可能性。但是，为了本教程的简单起见，我们将跳过这一步。同样，虽然有配置用户和权限管理的选项，但我们将继续进行简化的单用户设置。

然后，我们继续创建一个工作区，恰当地命名为"Playground"，反映了我们早期 Chroma 系列的名称。

AnythingLLM 起始页旨在通过类似聊天的界面向用户提供初始说明，并可以灵活地根据特定需求定制此内容。

从我们的"Playground"工作区，我们可以上传文档，进一步扩展我们的设置的功能。

我们监控日志以确认 AnythingLLM 有效地将相应的向量插入到 Chroma 中。

Adding new vectorized document into namespace playground  
Chunks created from document: 4  
Inserting vectorized chunks into Chroma collection.  
Caching vectorized results of custom-documents/techsquad-3163747c-a2e1-459c-92e4-b9ec8a6de366.json to prevent duplicated embedding.  
Adding new vectorized document into namespace playground  
Chunks created from document: 8  
Inserting vectorized chunks into Chroma collection.  
Caching vectorized results of custom-documents/techsquad-f8dfa1c0-82d3-48c3-bac4-ceb2693a0fa8.json to prevent duplicated embedding.

此功能使我们能够与文档进行交互式对话。

AnythingLLM 的一个有趣功能是它能够显示构成其响应基础的内容。

总之，AnythingLLM 及其中的每个工作区都提供了一系列可配置参数。其中包括系统提示、响应温度、聊天记录、文档相似度阈值等，从而实现定制化、高效的用户体验。

3.4、安装和配置 Vector Admin

为了完成我们的架构，我们现在专注于安装 Vector Admin GUI，它是一个强大的工具，用于可视化和管理 AnythingLLM 在 Chroma 中存储的向量。

安装过程涉及利用 Mintplex Labs 提供的 Docker 容器：一个用于 Vector Admin 应用程序，另一个用于 PostgreSQL 数据库，该数据库存储应用程序的配置和聊天历史记录。

git clone https://github.com/Mintplex-Labs/vector-admin.git  
cd vector-admin/docker/  
cp .env.example .env

我们修改 .env 文件，将服务器端口从 3001 调整为 3002，避免与 AnythingLLM 已使用的端口发生冲突。在Linux系统上，还需要为PostgreSQL连接字符串设置默认的Docker网关IP地址。

SERVER_PORT=3002  
DATABASE_CONNECTION_STRING="postgresql://vectoradmin:password@127.0.0.1:5433/vdbms"

此外，我们配置 SYS_EMAIL 和 SYS_PASSWORD 变量来定义第一个 GUI 连接的凭据。

鉴于默认端口的更改，我们还在 docker-compose.yaml 和 Dockerfile 中反映了此修改。

配置完后端之后，我们将注意力转向前端安装。

cd ../frontend/  
cp .env.example .env.production

在 .env.production 文件中，我们更新端口以与 Docker 网关保持一致。

GENERATE_SOURCEMAP=false  
VITE_API_BASE="http://127.0.0.1:3002/api"

完成这些设置后，我们构建并启动 Docker 容器。

docker compose up -d --build vector-admin

通过 http://localhost:3002 访问 GUI 非常简单。初始连接使用 .env 文件中指定的 SYS_EMAIL 和 SYS_PASSWORD 值。仅在首次登录时需要这些凭据，以从 GUI 创建主管理员用户并开始配置该工具。

GUI 中的第一步是创建组织，然后建立向量数据库连接。对于数据库类型，我们选择 Chroma，尽管 Pinecone、QDrant 和 Weaviate 也是兼容的选项。

同步工作区数据后，存储在 Chroma 内"playground"集合中的文档和向量变得可见。

这些载体的详细信息也可用于深入分析。

关于功能的说明：直接通过 Vector Admin 编辑向量内容目前受到限制，因为它利用 OpenAI 的嵌入模型。由于我们选择了 s-BERT MiniLM，因此此功能不可用。如果我们选择 OpenAI 的模型，上传新文档并将向量直接嵌入到 Chroma 中是可能的。

Vector Admin 还拥有其他功能，如用户管理和高级工具，包括相似性搜索中的自动偏差检测、即将推出的快照以及组织之间的迁移功能（以及扩展后的 vectostores）。

该工具特别令人钦佩的是它能够完全控制载体，从而大大简化其管理。

四、总结

---

至此，我们对Mintplex Labs的AnythingLLM和Vector Admin进行了全面探索。这些工具简化了RAG模式的设置流程，并使得与文档的对话交互成为可能。随着这些项目不断进化，新功能也在不断推出。因此，关注他们的更新并开始使用这些工具来交互式处理您的文件将是一个明智的选择。

五、References

---

[1]. AnythingLLM GitHub: https://github.com/Mintplex-Labs/anything-llm

[2]. LocalAI Docs: https://localai.io/

[3]. VectorAdmin: https://vectoradmin.com/

[4]. AnythingLLM: https://useanything.com/

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

"最先掌握AI的人，将会比较晚掌握AI的人有竞争优势"。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• ...

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• ...

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名"AI小子"。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• ...

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• ...

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】