DeepSeek+AnythingLLM打造自己大模型知识库

DeepSeek+AnythingLLM打造自己大模型知识库

目 录

  1. 安装Ollama

  2. 下载DeepSeek模型

  3. 安装AnythingLLM

  4. 基本应用

  5. 自定义知识库应用


1. 安装Ollama

官方网站下载:https://ollama.com/,点击download进行下载。

为了避免安装在C盘占用空间,可以使用命令指定路径方式安装Ollama,安装命令:OllamaSetup.exe /DIR=d:\Ollama,如下图:

直接安装就可以了,如下图:

配置下载模型保存路径,在电脑的环境变量中增加:OLLAMA_MODELS,设置保存模型路径:D:\Ollama\models。如下图:

2. 下载DeepSeek模型

建议使用"Windows PowerShell"终端,使用"命令提示符"运行Ollama命令可能会出现参数错误的提示。

DeepSeek-r1模型:1.5b约占用空间1.1GB,7b模型是4.7GB,8b模型是4.9GB,14b模型是9.0GB,32b是20GB,70b是43GB,671b是404GB,根据自己磁盘空间进行选择,原则上数据越大,回答的问题就越全面。

我们选择下载8b模型,在Windows PowerShell终端运行命令:ollama run deepseek-r1:8b。如下图:

下载模型成功后,8b模型保存在D:\Ollama\models目录中。如下图:

使用命令运行模型:ollama run deepseek-r1:8b。试一下提问:你是谁?使用效果如下图:

这样就算安装成功了。

3. 安装AnythingLLM

安装一个交互界面的软件,可以把资料投喂给大模型,类似的交互界面很多,暂时使用AnythingLLM,有其他好用的工具,网友留言反馈。

官方网站:https://anythingllm.com,下载软件,如图:

同样默认安装到D盘,如下图:

点击安装后,直接等待安装完成。根据网速情况,安装快慢不一样,会下载各种模型及相关文件。如下图:

有可能all-minilm-l6-v2模型下载失败,这是一个语义转换模型,如果缺失,使用AnythingLLM上传文档内容会失败。下载all-minilm-l6-v2模型,github下载地址: https://github.com/user-attachments/files/18676036/Xenova.zip

下载Xenova压缩包,解压到本机目录:C:\Users\WXZZ\AppData\Roaming\anythingllm-desktop\storage\models。如下图:

4. 基本应用

在桌面打开"AnythingLLM"应用程序,设置成中文,如下图:

新建一个工作区,单击"新工作区",在demo工作区上单击设置图标,在"聊天设置"设置"工作区聊天模型"为:deepseek-r1:8b。如下图:

在demo聊天应用效果如下图:

5. 自定义知识库应用

在保持原有模型不变的情况下,提问:请规划一下稀土领域的生产管控系统的内容。deepseek回答的内容明显比较吃力,如下图:

有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库,可以试着让deepseek成为每个角色的助手,例如工艺的、信息化的、设备的、电气的等角色,让deepseek成为自己,再不断的迭代它。deepseek扮演AI助手的角色,应用越来越发挥出来应有的价值

将自己的资料投喂给deepseek模型,在demo工作区上单击上传文件按钮,如下图:

我把"稀土领域生产一体化管控系统案例.docx(基于iNeuOS工业互联网平台)"是上传投喂给deepseek模型,上传成功后,选择相应的文件,单击"Move to Workspace"按钮移动到demo工作区;然后单击"Save and Embed"按钮,这个过程会调用all-minilm-l6-v2模型,根据文档内容的大小处理过程耗时不一样;保存成功后,在文件后面的按钮钉起来后会变成黑色,就证明选择这个文件。如下图:

返回demo工作区后,问同样的问题:**请规划一下稀土领域的生产管控系统的内容。**如下图:

显然deepseek模型参考了"稀土领域生产一体化管控系统案例.docx"文件的内容,因为内容很多就不具体展示了。总体来讲,效果还算可能。文档的内容如下图:


物联网&大数据技术 QQ群:54256083

物联网&大数据项目 QQ群:727664080

QQ:504547114

微信:wxzz0151

博客:https://www.cnblogs.com/lsjwq

微信公众号:iNeuOS