技术背景
在前面的两篇文章中,分别介绍过Ubuntu上关于DeepSeek的部署以及Windows平台关于DeepSeek的部署。其中内容包含了Ollama的下载安装和基本使用、DeepSeek模型文件的下载,以及使用ChatBox导入Ollama本地模型进行本地对话的方法。这里再介绍一个使用AnythingLLM构建本地知识库的方法,本地知识库跟ChatBox两种对话模式的主要不同点在于,ChatBox对话中输入给大模型的其实是上下N条对话的内容,而本地知识库是先给大模型输入本地一系列的文件内容,然后再进行对话,这就是大模型领域专业化的一个重要应用。
下载安装AnythingLLM
这里我们仅介绍Windows平台的方案,首先访问AnythingLLM官网,找到一个适合自己本地环境的版本下载,Windows系统就直接安装就可以了:
由于安装过程中有可能要联网下载一些库,所以不能离线安装,而且要耗费一些时间。
AnythingLLM本地工作区配置
安装完成后打开界面是这样的:
选择第一个,点击->
进入下一步:
中间可能还要填一些邮箱用途之类的,没什么影响,按情况填写然后继续点击->
进入下一步:
输入工作区名称,就创建完成了:
我感觉这个对话框还是比ChatBox简洁很多,看个人吧,喜欢哪个就用哪个。
AnythingLLM模型配置
点击左下角的扳手图标,先配置一些基本参数:
模型配置在LLM首选项
里边:
选择Ollama,然后剩下的按照自己的本地情况进行配置:
这里稍有点不同的是,ChatBox里面配置远程IP的时候,可以直接用xxx.xxx.xxx.xxx:11434
这样的形式。但是在AnythingLLM里面配置远程ip的话,需要加上http,也就是http://xxx.xxx.xxx.xxx:11434
这样的形式。然后就可以进入到聊天窗口,这里再修改一下工作区的模型配置:
这里就可以看到对应IP下的所有本地模型,配置完成后就可以开始对话了:
工作区上传知识库文档
在工作区那里有两个按钮,一个是上面一个章节用到的模型配置按钮,还有一个就是上传知识库文档的按钮了,点击可以进入这样的一个界面:
可以本地打开一个文件夹,把相应的文件拖到左下角那朵云上面,就上传到临时交换区了。这里还可以把网页链接输进去,也是直接同步到交换区。在传完文件之后,在交换区选择需要传输到工作区里面的文件,点击Move To Workspace
就可以把所有选中的文件传到工作区里面了。这里还没结束,需要再点击一个Save and Embed
同步到工作区中,这需要一点点解析的时间。传输完成后,可以在右侧工作区的文件面板上看到传输过来的文件,包含网页内容:
这样就可以构建属于自己专业领域的本地知识库了,相当于让DeepSeek的模型学习一遍这些传进去的文档。
应用场景
这里只是做一个简单的演示。我先在一个空白的工作区里面提问:"什么是mindsponge"。这个问题对于模型来说可能会有点陌生,因为它学习到的数据里面可能没有这个工具,所以它的回答也是不知所云:
但是当我把之前写过的一些关于mindsponge的博客传上去之后,再问一遍"什么是mindsponge",它的回答是这样的:
相对来说信息就准确了很多,可以认为大模型从本地的知识库里面学习到了行业相关内容,这就完成了一个大模型+专业领域知识库的构建。
提示
这里提供1条可能有用的提示:载入新的知识库文件之后,最好reset一下对话,发送一个/reset
即可。
总结概要
大模型之大,可以训练我们所有人日常生活学习工作可能使用到的所有知识。但是完整的大模型,要实现一个本地化的部署,可能是有点困难,因此才有了大模型的蒸馏技术。蒸馏之后大模型可能会损失大多数的行业知识,而我们可以通过本地知识库构建的方法,在本地构建一个私有的专业大模型。
版权声明
本文首发链接为:https://www.cnblogs.com/dechinphy/p/deepseek3.html
作者ID:DechinPhy
更多原著文章:https://www.cnblogs.com/dechinphy/
请博主喝咖啡:https://www.cnblogs.com/dechinphy/gallery/image/379634.html