摘要
大语言模型（LLMs）的协作能力在自然语言处理系统中已被证明有效，对医疗健康领域发展具有重要潜力。然而，现有方法缺乏明确的组件选择规则，需依赖人工干预或临床特定验证。此外，当前架构严重依赖预定义的LLM集群，其中部分模型在医疗决策支持场景中表现不佳，导致协作失效。为此，提出一种自适应集群协作方法，结合自多样性和跨一致性最大化机制：
- 自多样性：通过计算单个LLM内部成对输出的模糊匹配值作为其自多样性指标，以无训练方式优先选择高自多样性值的LLM作为集群组件；
- 跨一致性：首先测量最高自多样性LLM与其他模型的跨一致性值，随后逐步屏蔽具有最低跨一致性的LLM，以消除协作传播中的潜在不一致输出。
在NEJMQA和MMLU-Pro-health两个专业医学数据集上的实验表明，该方法在面向医师的专业领域中表现优异。例如，在NEJMQA数据集上，其准确率达到所有学科公开官方及格线，其中妇产科领域的ACC达65.47%，显著优于某机构GPT-4的56.12%。
核心方法
-
自多样性筛选：
- 基于模糊匹配算法量化LLM输出的内部差异性；
- 构建高多样性模型集群，减少冗余计算。
-
跨一致性优化：
- 动态评估集群成员间的输出一致性；
- 通过迭代屏蔽低一致性节点提升整体协作效率。
实验结果
- 数据集：NEJMQA（临床问答）、MMLU-Pro-health（多学科医学评估）；
- 基线对比：超越某机构GPT-4、某中心PaLM等主流模型；
- 关键指标：妇产科领域ACC提升9.35%，总体误诊率降低18.7%。
应用价值
该方法为医疗AI系统提供了可扩展的协作框架，尤其适用于诊断一致性要求严格的场景，如罕见病识别和多学科会诊。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码