本地AI知识库问答开源技术实现（二）--配置模型和知识库

本文较长，建议点赞收藏，以免遗失。更多AI大模型开发学习视频及资料，

都在这>>Github<<

配置大模型

Dify 启动后，默认为空的，从 v1.0.0 开始所有模型库（包括 Ollama ）都要通过 插件 的形式安装
在 插件 -> 探索 Marketplace -> 模型 中找到 Ollama ，点击 安装
等待安装完成后，刷新页面，点击管理员头像，选择 配置 ，在 模型供应商 找到 Ollama 并点击 添加模型
填写模型信息，注意 Ollama 的地址

模型名称填写 Ollama 上的对应的 NAME ，可通过 ollama ls 查看已下载的模型，名称中的 :latest 标识不需要填写

makefile 复制代码

NAME                                     ID              SIZE      MODIFIED
gemma3:27b                               30ddded7fba6    17 GB     11 days ago
qwq:latest                               38ee5094e51e    19 GB     2 weeks ago
qwen2.5:32b                              9f13ba1299af    19 GB     4 weeks ago
deepseek-r1:70b                          0c1615a8ca32    42 GB     4 weeks ago
qwen2.5:14b                              7cdf5a0187d5    9.0 GB    4 weeks ago
qwen2.5:latest                           845dbda0ea48    4.7 GB    4 weeks ago
deepseek-r1:32b                          38056bbcbb2d    19 GB     4 weeks ago
nomic-embed-text:latest                  0a109f422b47    274 MB    4 weeks ago
bge-m3:latest                            790764642607    1.2 GB    4 weeks ago
deepseek-r1:1.5b                         a42b25d8c10a    1.1 GB    5 weeks ago
deepseek-r1:7b                           0a8c26691023    4.7 GB    5 weeks ago

依次添加以下模型
- qwq
- bge-m3
  - 模型类型选择 Text Embedding
- qwen:14b
添加完成后如下显示
确认基础模型都添加完成后，刷新页面，再回到系统配置的 模型供应商 页面；
在 系统模型设置 中配置系统默认模型
至此基础模型准备工作完成。

配置知识库

大模型准备完成后，就可以开始准备知识库了
知识库可以有很多种类型，可以是技术文档，公司制度等；Dify 目前支持多种格式的文件做为知识库来源，下面以 Word 文件为例；
打开 Dify 的 知识库 版块，点击 创建知识库 ，选择 导入已有文本
选择已准备好的文件，点击 下一步 进入 文本分段与清洗
分段设置 有两种类型
- 通用 ：默认的分段类型，适用于大多数场景
- 父子分段 ：适用于结构分明的文档，像制度文件等
索引方式 一般选择 高质量
Embedding 模型 选择之前配置好的 bge-m3 ，如果此处没有可选择的模型，说明之前模型配置有误，需重新配置；
检索设置 一般选择 混合检索
设置完成后，点击 保存并处理 ，系统开始将文档进行分段和向量化；
知识库内的文档准备完成后，可对文档进行 召回测试 ，测试将显示文本（问题）召回的文档
可以根据召回效果来对设置进行微调，找到一个适合的值；