摘要
当前,在健康食品政策领域,使用大型语言模型进行信息提取的方法常常受到多种因素的阻碍,包括由政策文档的结构多样性和不一致性所引发的错误信息,具体表现为幻觉、错误分类和遗漏。

为解决这些局限,本研究提出了一种基于角色扮演的大型语言模型框架,通过分配专门的角色来自动从非结构化政策数据中提取信息:由担任政策分析师的大语言模型负责元数据和机制分类,由担任法律策略专家的大语言模型负责识别复杂的法律方法,由担任食品系统专家的大语言模型负责对食品系统各阶段进行分类。该框架通过将结构化的领域知识(包括法律方法的明确定义和分类标准)融入特定角色的提示词中,模拟了专家的工作流程。我们使用健康食品政策项目数据库中608项健康食品政策对框架进行了评估,并以Llama-3.3-70B模型为基座,将其性能与零样本、少样本和思维链基线进行了比较。我们提出的框架在复杂推理任务中表现出优越的性能,为从健康政策中自动化提取信息提供了一种可靠且透明的方法。
关键词:大型语言模型,健康政策,信息提取,健康信息学

1 引言
美国的公共卫生政策制定工作正以前所未有的规模和复杂性运行[2]。每年,联邦、州和地方各级都会颁布成千上万项与健康相关的政策[3]。这些政策代表着塑造人口健康结果的关键干预措施,然而其庞大的数量和多样性给试图理解政策如何实施的研究人员带来了根本性的挑战[19]。大型语言模型的出现为应对这种规模化挑战提供了一个有前景的机遇。大型语言模型无需特定任务训练即可处理自然语言的能力,使其对政策研究特别有吸引力,因为在政策研究领域,异构的文档格式和快速演变的领域限制了构建专用提取系统的可行性[8]。

然而,将大型语言模型直接应用于健康政策信息提取仍然充满挑战,且相关研究尚不充分。与具有一致模式的标准数据集不同,健康政策数据展现出的特性使其极易受到大型语言模型错误信息的影响[13]。首先,政策涵盖多种法律机制(例如,法律、行政命令、行政法规)和实质性类别,需要特定领域的推理才能正确分类。其次,数据收集自异构来源,其格式、术语和详细程度各不相同,常常需要量身定制的提取流程。第三,准确的分类既需要解析正式的法律结构,也需要解读政策意图------这些任务超出了通用提示词设计的能力范围。这些挑战表现为幻觉、错误分类和遗漏,这可能会破坏下游的政策分析和决策[10, 14, 4]。

当前改进基于大型语言模型提取的方法通常处于两个极端。一端是重量级解决方案,例如微调或基于智能体的系统,它们可以提升性能,但需要大量的标注数据、工程开销和系统复杂性,这限制了它们在快速演变的政策领域中的实用性。另一端是轻量级方法,例如零样本、少样本或思维链提示,这些方法易于部署,但往往缺乏结构化推理,无法可靠地处理多维分类任务。

在本工作中,我们将我们的方法定位为一个中间地带:一种轻量级但结构化的基于大型语言模型的替代方案,能够在无需承担完整系统重新设计成本的情况下,提高信息提取的可靠性。我们提出了一种基于角色扮演的提示框架,将政策提取分解为专门的分析角色。具体来说,该框架为大型语言模型分配了三个互补的角色:负责元数据和机制分类的政策分析师 ,负责识别复杂法律方法的法律策略专家 ,以及负责对食品系统内各阶段进行分类的食品系统专家。为了支持具有领域意识的推理,我们将结构化的领域知识(如政策分类方案、法律机制和分类标准)直接融入了特定角色的提示词中。这种设计在一个纯粹的基于提示的架构中引入了模块化的任务分解,能够在保持基于提示方法的灵活性和低运营成本的同时,实现更一致和可解释的推理。通过弥合简单提示策略与资源密集型系统重新设计之间的差距,我们的框架为可扩展的健康政策信息提取提供了一种高效且实用的解决方案。
