DeepSeek部署本地知识库

技术背景

在前面的两篇文章中,分别介绍过Ubuntu上关于DeepSeek的部署以及Windows平台关于DeepSeek的部署。其中内容包含了Ollama的下载安装和基本使用、DeepSeek模型文件的下载,以及使用ChatBox导入Ollama本地模型进行本地对话的方法。这里再介绍一个使用AnythingLLM构建本地知识库的方法,本地知识库跟ChatBox两种对话模式的主要不同点在于,ChatBox对话中输入给大模型的其实是上下N条对话的内容,而本地知识库是先给大模型输入本地一系列的文件内容,然后再进行对话,这就是大模型领域专业化的一个重要应用。

下载安装AnythingLLM

这里我们仅介绍Windows平台的方案,首先访问AnythingLLM官网,找到一个适合自己本地环境的版本下载,Windows系统就直接安装就可以了:

由于安装过程中有可能要联网下载一些库,所以不能离线安装,而且要耗费一些时间。

AnythingLLM本地工作区配置

安装完成后打开界面是这样的:

选择第一个,点击->进入下一步:

中间可能还要填一些邮箱用途之类的,没什么影响,按情况填写然后继续点击->进入下一步:

输入工作区名称,就创建完成了:

我感觉这个对话框还是比ChatBox简洁很多,看个人吧,喜欢哪个就用哪个。

AnythingLLM模型配置

点击左下角的扳手图标,先配置一些基本参数:

模型配置在LLM首选项里边:

选择Ollama,然后剩下的按照自己的本地情况进行配置:

这里稍有点不同的是,ChatBox里面配置远程IP的时候,可以直接用xxx.xxx.xxx.xxx:11434这样的形式。但是在AnythingLLM里面配置远程ip的话,需要加上http,也就是http://xxx.xxx.xxx.xxx:11434这样的形式。然后就可以进入到聊天窗口,这里再修改一下工作区的模型配置:

这里就可以看到对应IP下的所有本地模型,配置完成后就可以开始对话了:

工作区上传知识库文档

在工作区那里有两个按钮,一个是上面一个章节用到的模型配置按钮,还有一个就是上传知识库文档的按钮了,点击可以进入这样的一个界面:

可以本地打开一个文件夹,把相应的文件拖到左下角那朵云上面,就上传到临时交换区了。这里还可以把网页链接输进去,也是直接同步到交换区。在传完文件之后,在交换区选择需要传输到工作区里面的文件,点击Move To Workspace就可以把所有选中的文件传到工作区里面了。这里还没结束,需要再点击一个Save and Embed同步到工作区中,这需要一点点解析的时间。传输完成后,可以在右侧工作区的文件面板上看到传输过来的文件,包含网页内容:

这样就可以构建属于自己专业领域的本地知识库了,相当于让DeepSeek的模型学习一遍这些传进去的文档。

应用场景

这里只是做一个简单的演示。我先在一个空白的工作区里面提问:"什么是mindsponge"。这个问题对于模型来说可能会有点陌生,因为它学习到的数据里面可能没有这个工具,所以它的回答也是不知所云:

但是当我把之前写过的一些关于mindsponge的博客传上去之后,再问一遍"什么是mindsponge",它的回答是这样的:

相对来说信息就准确了很多,可以认为大模型从本地的知识库里面学习到了行业相关内容,这就完成了一个大模型+专业领域知识库的构建。

提示

这里提供1条可能有用的提示:载入新的知识库文件之后,最好reset一下对话,发送一个/reset即可。

总结概要

大模型之大,可以训练我们所有人日常生活学习工作可能使用到的所有知识。但是完整的大模型,要实现一个本地化的部署,可能是有点困难,因此才有了大模型的蒸馏技术。蒸馏之后大模型可能会损失大多数的行业知识,而我们可以通过本地知识库构建的方法,在本地构建一个私有的专业大模型。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/deepseek3.html

作者ID:DechinPhy

更多原著文章:https://www.cnblogs.com/dechinphy/

请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html

参考链接

  1. https://readdevdocs.com/blog/ai/如何用DeepSeek R1搭建个人知识库?.html#前言