【大模型】Ollama+AnythingLLM搭建RAG大模型私有知识库

文章目录

一、AnythingLLM简介

AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序,是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型,可定制化,而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统,也可以使用Docker安装。官方已经做好了各个版本的应用,直接下载对应版本,像正常软件一样安装启动即可。

1.核心特性

  • 多用户协作与权限定制:支持多用户同时在线,根据角色分配不同权限,保障信息安全。
  • 全面文档格式兼容:无缝支持PDF、TXT、DOCX等主流文档格式,扩展知识库的边界。
  • 直观的文档管理界面:用户友好的界面简化了向量数据库中的文档管理流程。
  • 双模式对话系统:对话模式记录历史问答,查询模式专注于文档的即时速查。

2.技术生态支持

  • LLM支持:全面兼容开源llama.cpp模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2等,以及LM Studio和LocalAi。
  • 嵌入模型:内建AnythingLLM原生嵌入器,同时支持OpenAI、Azure OpenAI等嵌入技术。
  • 向量数据库:以LanceDB为默认选择,同时支持Pinecone、Chroma、Weaviate、QDrant等数据库,为知识库提供强大的数据索引和检索能力。

二、搭建本地智能知识库

2.1 安装Ollama

AnythingLLM中需要设置 "工作区 LLM 提供者",这里我们可以使用 Ollama 来提供大模型服务,这里就需要提前在我们的环境上安装好 Ollama 。

Ollama 的安装及部署参考本人之前的博客:【大模型】Ollama的安装部署及运行大模型教程

在使用AnythingLLM前,需要启动Ollama服务。执行ollama serve,ollama默认地址为:http://127.0.0.1:11434

【注意】:这里我们的 Ollama 安装在Ubuntu远程服务器上,AnythingLLM 安装在本地 Windows

PC机上。如果想在本地PC机访问 Ollama 提供的模型服务,还需做个端口映射。在Windows命令行页面输入如下命令:

python ssh -L 11434:localhost:11434 root@xxx.xxx.yyy.yyy

然后在PC机的浏览器访问 http://127.0.0.1:11434/,能够看到如下页面:

2.2 安装AnythingLLM

(1)下载安装包进行安装

安装包下载地址:https://anythingllm.com/desktop

这里,我们选择了 Windows 的安装包,在本地PC机上进行安装。

(2)Open Seetings

进入 Open Seetings页面,可以设置人工智能提供商,包括:LLM首选项、向量数据库等。

  • LLM首选项:

    这里我们选择了 Ollama 来提供模型服务。

  • 向量数据库

    向量数据库直接使用默认的LanceDB即可。

(3)创建工作区

(4)设置工作区

(5)开启对话

在对话界面可以通过"上传文档",或者 "发送消息" 来开启对话。

  • 上传文档

参考资料

相关推荐
jndingxin22 分钟前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦33 分钟前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988941 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03271 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手2 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志2 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界2 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield2 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦2 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt