【大模型】Ollama+AnythingLLM搭建RAG大模型私有知识库

文章目录

一、AnythingLLM简介
二、搭建本地智能知识库
- [2.1 安装Ollama](#2.1 安装Ollama)
- [2.2 安装AnythingLLM](#2.2 安装AnythingLLM)
参考资料

一、AnythingLLM简介

AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统，也可以使用Docker安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

1.核心特性

多用户协作与权限定制：支持多用户同时在线，根据角色分配不同权限，保障信息安全。
全面文档格式兼容：无缝支持PDF、TXT、DOCX等主流文档格式，扩展知识库的边界。
直观的文档管理界面：用户友好的界面简化了向量数据库中的文档管理流程。
双模式对话系统：对话模式记录历史问答，查询模式专注于文档的即时速查。

2.技术生态支持

LLM支持：全面兼容开源llama.cpp模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2等，以及LM Studio和LocalAi。
嵌入模型：内建AnythingLLM原生嵌入器，同时支持OpenAI、Azure OpenAI等嵌入技术。
向量数据库：以LanceDB为默认选择，同时支持Pinecone、Chroma、Weaviate、QDrant等数据库，为知识库提供强大的数据索引和检索能力。

二、搭建本地智能知识库

2.1 安装Ollama

AnythingLLM中需要设置 "工作区 LLM 提供者"，这里我们可以使用 Ollama 来提供大模型服务，这里就需要提前在我们的环境上安装好 Ollama 。

Ollama 的安装及部署参考本人之前的博客：【大模型】Ollama的安装部署及运行大模型教程

在使用AnythingLLM前，需要启动Ollama服务。执行ollama serve，ollama默认地址为：http://127.0.0.1:11434

【注意】：这里我们的 Ollama 安装在Ubuntu远程服务器上，AnythingLLM 安装在本地 Windows

PC机上。如果想在本地PC机访问 Ollama 提供的模型服务，还需做个端口映射。在Windows命令行页面输入如下命令：

python ssh -L 11434:localhost:11434 root@xxx.xxx.yyy.yyy

然后在PC机的浏览器访问 http://127.0.0.1:11434/，能够看到如下页面：