参考:基于知识库和 LLM 的问答系统经验分享 - 知乎 (zhihu.com)
一、基于LLM的问答系统架构
比较常见的开源 LLM 的问答系统都会遵循下图这种结构去进行设计:
加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k
个 -> 匹配出的文本作为上下文和问题一起添加到 prompt
中 -> 提交给 LLM
生成回答。
参考:基于知识库和 LLM 的问答系统经验分享 - 知乎 (zhihu.com)
比较常见的开源 LLM 的问答系统都会遵循下图这种结构去进行设计:
加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k
个 -> 匹配出的文本作为上下文和问题一起添加到 prompt
中 -> 提交给 LLM
生成回答。