统一大语言模型和知识图谱:如何解决医学大模型问诊不充分、检查不准确、诊断不完整、治疗方案不全面?
医学大模型问题
问诊。偏离主诉和没抓住核心。
- 解决方案:建立抗干扰的能力,使得发现用户问题会一追到底。
检查。大模型最大的问题就是它的模糊和宽泛,给出的检查方案经常有缺失和缺漏。
- 解决方案:检查项目和诊断做关联,结合相应检查证据的类型和证据等级,给患者设计更加精准和高效的检查辅助方案
诊断。之前大模型只能给出一个方向性的诊断。在真实世界的临床应用实践上,最后要给出具体疾病的临床分型和分期。
- 解决方案:从教科书和临床指南中提炼
治疗。大模型给出的治疗方案往往也是偏方向性的。
- 解决方案:从教科书和临床指南中把治疗方案和治疗手段与诊断进行关联,以及在不同的疾病分期、分型下诊断方法和诊断的适用条件等综合考虑,辅助设计一个更加精准的治疗方案
医学大模型相当于一个模式识别系统,能迅速反应出 XX 特征 是 XX 疾病。
但是 ta 做不到完备的、全流程的医生治疗过程。
我们需要给 ta 引入结构化的完备能力。
从结构的角度出发,利用整体和部分的关系,有序地思考,正确决策,更有助于深度分析思考。
实现方式是,构建:
- 指南上的知识点结构化(知识图谱1)
- 临床上的解题思路结构化(知识图谱2)
- 疾病上的全流程管理结构化(知识图谱3)
- 错题上的结构化(知识图谱4)
- 多模态的结构化(知识图谱5)
同时使用 5 种知识图谱,才能让医学大模型有完备的诊断能力:
- 从家庭医生,到专科水平
- 从模式识别,到完备的全流程诊断
- 从不可控不稳定不可解释的黑盒,变成可控稳定可解释的
- 能根据反馈,不断修订知识
这种结构化的完备能力,我们能通过 5 种专业的知识图谱实现。
如何使用知识图谱加强和补足专业能力?
大模型结构
现在的 大模型 可以分为:
- 1)Decoder-only LLMs:仅采用解码器模块来生成目标输出文本。很多decoder-only的LLMs(如GPT4)通常可以根据少量示例或简单指令执行下游任务,而无需添加预测头或微调。模型的训练范式是预测句子中的下一个单词。
- 2)Encoder-Decoder LLMs:用编码器和解码器模块。编码器模块负责将输入句子进行编码,解码器用于生成目标输出文本。编码器-解码器LLM(如ChatGLM)能够直接解决基于某些上下文生成句子的任务,例如总结、翻译和问答
- 3)Encoder-only LLMs:仅用编码器对句子进行编码并理解单词之间的关系(如BERT),训练模式预测句子中的掩码词语,需要添加额外的预测头来解决下游任务,胜在自然语言理解任务(如文本分类、匹配)
知识图谱增强大模型的方法
当你问 熊是什么样的动物?:
- 语言模型:熊是一种大型哺乳动物,只能给你一个笼统的答案。
- 知识图谱 + 语言模型可以回答:"熊是一种大型哺乳动物,通常有厚重的毛皮,强壮的身体和大而强壮的爪子。它们喜欢生活在森林中,以植物、鱼和昆虫为食。"
知识图谱增强 分为三部分:
-
增强的LLM预训练
将KGs引入训练目标,设计知识导向的训练目标
将KGs整合到LLM输入中
将KGs纳入到额外的融合模块中,设计单独处理KGs的模块。
-
增强的LLM推理
-
增强的LLM可解释性
正在更新...