项目需求:
项目需要实现对于41个公司规章制度文件的检索,输出检索出自文件名称、命中的问题答案内容,并且保证原始规章制度的格式输出,不允许加工修改。
项目方案:
模型使用DeepSeek-R1-70B基于ollama搭建,平台基于Dify搭建,RAG基于Dify中成熟的流程引擎实现。对于用户的提问首先进行知识库检索,输出的内容分2个分支,第一个分支进入LLM大模型,第二个分支进入代码执行模块提取出出处标题和内容。两个分支同时进入变量聚合器实现2个分支结果的合并,最终进入结束节点,输出最终结果。

提示词prompt:
你是一个系统助手,使用以下内容作为你学习的知识。
<context>
</context>
回答用户的问题时,如果在知识库中可以找到与问题最相关的原文,就输出原文内容;如果在知识库中找不到,就说不知道。
知识库构建:
在知识库的构建过程中,文章分段采用通用的分段模式,分段最大长度4000,重叠长度50。然后人工对人段结果进行修正微调。索引模式采用向量检索+全文检索这样的混合检索模式,其中向量检索Embedding 模型使用bge-large-zh-v1.5,排序Rerank 模型使用bge-reranker-large模型,其他参数TopK设置为0,阈值为0.7。
