打造本地GPT专业领域知识库AnythingLLM+Ollama

如果你觉得openai的gpt没有隐私,或者需要离线使用gpt,还是打造专业领域知识,可以借用AnythingLLM+Ollama轻松实现本地GPT.

AnythingLLM+Ollama 实现本地GPT步聚:

1 下载 AnythingLLM软件

AnythingLLM官网地址:

AnythingLLM | The ultimate AI business intelligence tool

2 下载 Ollama

Ollama官网下载:

Ollama

下载好的两个软件如下图:

3 安装AnythingLLM

和安装其它软件一样双击安装即可,如下图:

安装成功后,我们接着再安装Ollama。

4 安装Ollama

和安装其它软件一样双击安装即可,安装成功后右下角有个运行图标如下图:

配置 Ollama

1 配置Ollama模型数据路径

模型数据默认是保存在C盘的,由于模型数据特别大,所以这里一定要记住配置模型数据的路径,只里设置系统变量OLLAMA_MODELS的值为模型数据保存路径,如下图:

2 选择配置主模型

这里考虑到我们平时主要处理中文相关资料,选择阿里的千问模型,结合当前环境笔记是16G内存,我们这里选择千问7b(占用8G内存):

运行选择的模型

bash 复制代码
ollama run qwen:7b

首次运行会下载该模型,如下图:

下载完成,如下图:

3 选择配置嵌入模型

嵌入模型并不直接生产数据,主要用于把本地知识doc.pdf txt等文档保存在向量数据库时用到。

这里我们选择 nomic-embed-text ,它是具有大型令牌上下文窗口的高性能开放嵌入模型。

bash 复制代码
ollama pull nomic-embed-text

5 配置AnythingLLM

打开AnythingLLM 进行设置项,如下图:

1 配置主模型

这里选择上面Ollama下载的千问模型

2 配置嵌入模型

这里选择配置与上面安装的模型nomic-embed-text一致,如下图:

配置嵌入模型在处理上传知识文件保存到向量数据时两个关键参数:

  • 分块大小 (这是单个向量中允许存在的最大字符数量。例如,如果设置为8192,意味着每个文本块或向量最多包含8192个字符。)
  • 文本块重叠度(这是指在两个相邻文本块切分过程中允许的最大字符重叠量。设置重叠可以帮助保持信息的连续性,避免因严格切分导致的语义断裂,尤其是在信息的关键边界附近。)

注意:这两个参数仅适用于新嵌入的文档,对已存在的文档没有影响。

3 配置使用向量数据库

设置使用向量数据库,没有特别需求使用默认即可,如下图:

**说明:**LanceDB是一个开源的无服务器向量数据库,专为处理人工智能应用中的大规模多模态数据(如文本、图像、视频、点云等)而设计。它简化了高维向量的检索、过滤和管理过程,无需用户管理和维护服务器基础设施,从而降低了运维成本并提高了开发效率。

配置完成,如下图:

6 开始使用本地GPT(使用AnythingLLM)

现在我们开始使用AnythingLLM:

1 创建空间

AnythingLLM 有一个很好的概念工作空间,有点像我们平时用eplise创建项目一样,一个项目一个空间,不同的空间还可以单独配置,这样可以很好的划分不同类类型的专业领域。

保存空间名称后,即可正常提问

开始问答:

因为是离线,而本地又没有显卡,所以回答问题时并不是很快,而且CPU会拉升,如下图:

ollama 服务CPU占用50%,内存12G,消耗挺大的。

2 可选择单独配置参数

为当前空间单独配置参数(默认使用设置中的配置)

配置聊天模型,这个配置很重要,如果只是针对知识库直接设置成查询模型即可,如下图:

3 知识库使用

上传文档形成专业知识库,如下图:

选择文档上传,如下图:

或者输入网址直接获取内容

使用查询模型提问,直接使用知识库如下图:

小结,普通的笔记本电脑在使用查询模式会比聊天模型更快,并且可以节约CPU与内存。

相关推荐
荔枝吻42 分钟前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
Jamie201901061 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
云卓SKYDROID1 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID1 小时前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
麻雀无能为力2 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人2 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法2 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾2 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石822 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
未来智慧谷3 小时前
微软医疗AI诊断系统发布 多智能体协作实现疑难病例分析
人工智能·microsoft·医疗ai