笔记整理：庄祥，浙江大学博士生
论文链接：https://openreview.net/pdf?id=PacBluO5m7
发表会议：NeurIPS 2024
1. 动机
随着大型语言模型（LLM）在各种任务上的广泛应用，它们在专业领域的问答中遇到了挑战。尽管这些模型拥有强大的推理能力，但在特定领域的专业知识方面，由于预训练语料库中相关知识的缺乏，它们的表现并不尽如人意。为了克服这一问题，提出了一个结合知识图谱（KG）与LLM的新框架------KnowGPT，旨在通过注入领域特定的知识来提升LLM回答专业问题的准确性。
2. 贡献
本文的主要贡献包括：
（1）提出了一种新的框架：提出了一个名为KnowGPT的新框架，该框架能够有效地将KG集成到LLM中，以辅助LLM准确回答专业领域的问题。
（2）深度强化从学习策略：开发了一个深度强化学习（RL）策略，用于从KG中提取信息丰富且简洁的推理背景，促进LLM的理解和生成过程。
（3）多臂老虎机算法：设计了多臂老虎机算法（MAB），以选择最有效的知识抽取方法和提示模板，针对每个具体问题进行优化。
（4）实验验证：在通用和领域特定的问答实验中验证了KnowGPT相较于其他竞争对手的优越性能。
3. 方法
KnowGPT的整体架构设计如下：
（1）知识抽取。深度RL策略：此部分专注于如何高效地从未标注的数据集中获取有用的结构化知识，并将其转化为可以指导LLM工作的形式。通过这种方式，即使是在没有明确标签的情况下，系统也能够学会选择重要的KG节点或边作为辅助信息。为了鼓励代理发现更多有信息量的知识链，设计了一套定制的奖励方案，这促进了所提取路径的可达性、上下文关联性和简洁性。然后，使用训练问题训练策略网络以最大化奖励，并应用于未见过的问题上。
（2）选择机制。多臂老虎机算法（MAB）：MAB被用来动态调整不同种类的知识抽取方法的比例，确保每一次查询都能得到最优配置。它会根据历史反馈不断学习哪些组合最适合解决特定类型的问题，从而提高了整体系统的灵活性和适应性。给定几种知识抽取策略和提示模板，MAB学习平衡探索与利用，为每个问题选出最有效的组合，然后应用于新问题上自动选择知识抽取策略和提示模板。
（3）整合与应用。整合过程：一旦确定了最佳的知识抽取方案和对应的提示格式，接下来就是把这些元素无缝地融入到LLM的工作流程里。这不仅增强了模型的理解力，还保证了输出结果的可靠性和专业性。将KnowGPT实施于GPT-3.5之上，实验结果显示，KnowGPT在三个问答数据集上的表现显著优于现有基线模型。特别是在OpenBookQA排行榜上，KnowGPT达到了92.6%的准确率，接近人类水平。
4. 实验
为了评估KnowGPT的效果，在多个数据集上进行了广泛的实验，涵盖了普通问答场景及特定行业内的复杂问题。实验结果显示，无论是在准确性还是鲁棒性方面，KnowGPT都显著优于现有的解决方案。具体来说，KnowGPT相比GPT-3.5平均提升了23.7%，而与GPT-4相比，在CommonsenseQA、OpenBookQA和MedQA数据集上分别提升了3.3%、1.4%和1.8%。此外，KnowGPT在CSQA(IH)测试集上的准确率为81.8%，在OBQA测试集上的准确率为92.4%，在MedQA测试集上的准确率为78.1%。
5. 总结
本研究提出的KnowGPT框架，成功解决了LLM在专业领域内问答时可能遇到的知识不足的问题。通过巧妙地结合KG提供的结构化信息和支持，KnowGPT实现了更加精准的回答生成，为未来进一步探索LLM与外部知识源之间的协同作用奠定了坚实的基础。特别是，黑盒知识注入方法展示了其在编码知识入LLM方面的效率，并证明了这种方法在仅使用模型API的情况下也能对GPT-3.5进行有效改进。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文 ，进入 OpenKG 网站。