【大模型】Ollama+AnythingLLM搭建RAG大模型私有知识库

文章目录

一、AnythingLLM简介

AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序,是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型,可定制化,而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统,也可以使用Docker安装。官方已经做好了各个版本的应用,直接下载对应版本,像正常软件一样安装启动即可。

1.核心特性

  • 多用户协作与权限定制:支持多用户同时在线,根据角色分配不同权限,保障信息安全。
  • 全面文档格式兼容:无缝支持PDF、TXT、DOCX等主流文档格式,扩展知识库的边界。
  • 直观的文档管理界面:用户友好的界面简化了向量数据库中的文档管理流程。
  • 双模式对话系统:对话模式记录历史问答,查询模式专注于文档的即时速查。

2.技术生态支持

  • LLM支持:全面兼容开源llama.cpp模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2等,以及LM Studio和LocalAi。
  • 嵌入模型:内建AnythingLLM原生嵌入器,同时支持OpenAI、Azure OpenAI等嵌入技术。
  • 向量数据库:以LanceDB为默认选择,同时支持Pinecone、Chroma、Weaviate、QDrant等数据库,为知识库提供强大的数据索引和检索能力。

二、搭建本地智能知识库

2.1 安装Ollama

AnythingLLM中需要设置 "工作区 LLM 提供者",这里我们可以使用 Ollama 来提供大模型服务,这里就需要提前在我们的环境上安装好 Ollama 。

Ollama 的安装及部署参考本人之前的博客:【大模型】Ollama的安装部署及运行大模型教程

在使用AnythingLLM前,需要启动Ollama服务。执行ollama serve,ollama默认地址为:http://127.0.0.1:11434

【注意】:这里我们的 Ollama 安装在Ubuntu远程服务器上,AnythingLLM 安装在本地 Windows

PC机上。如果想在本地PC机访问 Ollama 提供的模型服务,还需做个端口映射。在Windows命令行页面输入如下命令:

python ssh -L 11434:localhost:11434 root@xxx.xxx.yyy.yyy

然后在PC机的浏览器访问 http://127.0.0.1:11434/,能够看到如下页面:

2.2 安装AnythingLLM

(1)下载安装包进行安装

安装包下载地址:https://anythingllm.com/desktop

这里,我们选择了 Windows 的安装包,在本地PC机上进行安装。

(2)Open Seetings

进入 Open Seetings页面,可以设置人工智能提供商,包括:LLM首选项、向量数据库等。

  • LLM首选项:

    这里我们选择了 Ollama 来提供模型服务。

  • 向量数据库

    向量数据库直接使用默认的LanceDB即可。

(3)创建工作区

(4)设置工作区

(5)开启对话

在对话界面可以通过"上传文档",或者 "发送消息" 来开启对话。

  • 上传文档

参考资料

相关推荐
子燕若水2 分钟前
Unreal Engine 5中的AI知识
人工智能
极限实验室1 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿1 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫1 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手2 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记2 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元2 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术2 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
超龄超能程序猿3 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉