AutoSynthesis：面向全自动元分析的多智能体系统

AutoSynthesis：面向全自动元分析的多智能体系统

论文原网页地址：https://arxiv.org/html/2607.15247v1

摘要

证据合成是医学、教育、公共政策、计算机科学等领域将零散原始研究转化为可靠量化结论的核心手段，但传统人工元分析流程成本极高、规模化落地困难。本文提出AutoSynthesis 端到端多智能体系统，仅输入自然语言研究问题，即可全自动完成检索策略构建、文献抓取、标题/全文初筛、纳入标准判定、统计量提取、标准化效应量计算、随机效应元分析全套流程。系统同时支持异质性分层调节分析、发表偏倚与研究内偏倚风险评估，最终输出完全符合PRISMA规范的标准化分析报告。

以人机对照元分析作为基准开展评测，AutoSynthesis完成28篇候选文献检索、19篇全文筛选，从8项有效研究中提取20组量化效应量；系统输出的合并Hedges' g效应量与人工专家结果偏差仅±0.12，定量结论高度吻合。实验证明AutoSynthesis可大幅降低证据合成人力成本，实现近实时持续证据更新，为循证决策提供可复现、可规模化自动化工具。

三大核心贡献

1. 搭建完整链路多智能体框架，覆盖从研究问题到标准化元分析报告全流程，弥补现有LLM工具仅能完成文献筛选、无法实现定量合并的空白；
2. 设计分层智能体分工架构，区分LLM推理模块与确定性统计计算模块，兼顾大模型文本理解的灵活性与元分析统计方法严谨性；
3. 以已发表人工元分析为基准开展量化对比实验，验证自动化分析结论与专家人工分析高度一致，并完整开放复现流程、脚本与评测指标。

1 引言

系统元分析通过整合多项独立实证研究得到统一量化结论，能够提升统计功效、精确效应估计、识别单一研究无法显现的异质性来源，广泛应用临床医学指南制定、心理干预评估、教育方案效果测算、公共卫生政策研究、人机交互行为分析等领域。

但人工元分析存在显著短板：完整综述通常需要上千工时，耗时长达一年，新研究产出与合成结论发布存在巨大滞后。现有LLM辅助证据工具仅能完成文献检索、标题筛选、简单信息抽取，无法实现标准化效应量计算、随机效应合并、发表偏倚检验等核心元分析定量流程 。

本文AutoSynthesis创新点：基于LangGraph搭建多智能体协同流水线，规划、检索、精读、筛选、统计抽取、统计校验、元分析计算、偏倚评估、报告生成各司其职；LLM负责非结构化论文文本理解，统计模块全部采用确定性Python数值算法，避免大模型幻觉干扰定量结果；全流程留存智能体操作审计日志，每一步纳入/剔除、数值提取均可追溯，输出报告严格遵循PRISMA 2020规范。

系统支持"活元分析"持续更新模式，新文献发表后可自动追加合成，解决传统综述时效性差的痛点；同时内置RoB2、ROBINS-I两套偏倚评估工具，漏斗图、剪补法、留一法敏感性分析、调节子分层异质性分析全套可视化与统计检验流程。

2 实验结果

2.1 端到端全自动元分析完整演示

选取基准研究问题：「大语言模型生成说服文本相比人类撰写内容对说服效果的影响」，采用Hölbling 2025年人工元分析作为黄金对照基准。

AutoSynthesis完整执行链路：

1. 规划智能体生成检索布尔式、纳入排除标准、调节变量；
2. 多数据库抓取28条文献记录，标题摘要初筛保留25篇；
3. 全文读取后判定19篇符合研究范围；
4. 提取有效量化数据，最终纳入8项研究、共20组效应量；
5. 随机效应模型合并得到Hedges' g=0.143（95%CI 0.059,0.226，p<0.001），证明LLM文本平均说服力更强；
6. 配套全套诊断结果：高研究间异质性I2=88.3%I^2=88.3\%I2=88.3%、Egger检验提示小型研究发表偏倚、留一法敏感性分析、累积时序元分析、领域调节子分层对比、单篇研究偏倚风险评级。
   输出产物包含：PRISMA流程图、森林图、漏斗图、效应-样本散点、累积效应图、分层调节图、异质性统计表格、偏倚评估矩阵、研究信息汇总Markdown表格。

2.2 文献检索与筛选能力验证

以人工基准纳入的7篇核心文献为参照：

• AutoSynthesis召回5篇，召回率71.4%；
• 系统额外纳入3篇基准未收录文献，校正后精确率87.5%；
  未召回文献成因：1篇数据库检索未命中、1篇无公开可解析PDF；额外纳入文献包含基准截止日期后新发表论文与1篇主题弱相关文献（属于智能体筛选误判，可通过人工微调检索词修正）。
  
  

2.3 自动化效应量准确度验证

整体合并结果对比

人工基准合并效应g=0.020，AutoSynthesis输出g=0.143，差值Δg=0.123，落在学术界公认±0.2可接受误差区间，二者置信区间大面积重叠，核心定性结论完全一致；异质性指标、Egger偏倚检验p值差异极小。

单研究效应匹配

7组可一一对应的研究效应量皮尔相关r=0.69（p=0.085），OLS回归斜率1.62，自动化提取数值与人工标注中等正向相关；二者差异主要来自文献检索覆盖度不同，而非统计计算模块误差。

3 讨论

3.1 核心优势

1. 全链路覆盖：从自然语言问题直达标准化元分析报告，集成异质性、发表偏倚、偏倚风险全套专业分析模块；
2. 推理与统计解耦：文本理解交由LLM，定量合并、检验使用确定数值算法，杜绝幻觉污染统计结论；
3. 模块化设计：支持中途导入已有筛选结果，用于持续更新"活元分析"；
4. 全链路可审计：每一步筛选理由、提取数值、计算过程留存日志，支持人工复核溯源；
5. 基座无关：兼容各类开源/闭源大模型，可离线本地部署。

3.2 局限

1. 评测基准数量有限，复杂小众学科、图表/附录仅存统计数据的文献性能存在波动；
2. 文献检索依赖开放可解析PDF，付费墙、扫描件论文无法自动读取；
3. 部分原始论文未完整报告均值、标准差等计算所需统计量，自动化流程只能直接剔除；
4. LLM基座、提示策略会小幅影响文献筛选与数值抽取效果；
5. 训练数据污染风险：部分基准文献可能存在于模型训练集，但定量计算为固定数学流程，对最终合并结论影响有限。

3.3 应用场景与定位

AutoSynthesis并非完全替代领域专家，而是辅助工具：研究问题定义、调节变量选取、结果领域解读仍需人工专业判断；最适合成熟综述的持续增量更新、缺乏统计专业研究者快速完成初步定量合成、大规模政策类循证证据批量汇总。

4 方法实现

4.1 AutoSynthesis多智能体完整架构

基于LangGraph搭建ReAct循环多智能体流水线，各智能体分工明确，共享全局工作流状态：

智能体模块	核心功能
规划智能体	解析自然语言问题，生成完整元分析方案（纳入标准、检索式、调节变量、效应指标），支持人工编辑修正
检索智能体	根据方案生成布尔检索语句，调用API抓取arXiv、PubMed、Semantic Scholar等多数据库文献，去重、标题粗筛
论文读取智能体	多解析器级联（MinerU→LlamaParse→Mistral OCR）解析PDF为结构化Markdown，保留表格
纳入判定智能体	全文逐条对照纳入标准，记录每篇文献通过/剔除理由
研究单元识别智能体	区分单篇论文内多项独立实验，拆分多组待提取统计单元
统计抽取智能体	分两步：构建论文结构化JSON上下文→定向提取实验组、对照组均值、样本量、检验统计量
统计校验智能体	核对提取数值与原文文本一致性，剔除无法溯源幻觉数据
分析计算智能体	标准化效应量转换（Cohen's d→Hedges' g）、REML随机效应元分析、异质性统计、分层调节分析
偏倚评估智能体	Egger回归、剪补法、留一敏感性、漏斗图、RoB2/ROBINS-I偏倚评级
报告生成智能体	输出PRISMA流程图、各类可视化图表、结构化Markdown综述、研究汇总表

完整执行伪代码

# AutoSynthesis 端到端执行主流程
from langgraph import StateGraph
# 1. 初始化全局工作状态
work_state = {"research_question": 用户输入问题, "logs": [], "studies": []}
# 2. 规划智能体生成元分析协议
state = planner_agent(work_state)
# 3. 多数据库检索、标题粗筛
state = search_agent(state)
# 4. 批量PDF解析
state = paper_reader_agent(state)
# 5. 全文纳入/剔除判定
state = eligibility_agent(state)
# 6. 拆分单篇内多独立实验单元
state = study_identifier_agent(state)
# 7. 抽取并校验所有量化统计量
state = stat_extractor_agent(state)
state = stat_validator_agent(state)
# 8. 元分析定量计算、异质性、分层调节
state = analysis_agent(state)
# 9 发表偏倚、研究偏倚全套检验
state = bias_assessment_agent(state)
# 10 生成PRISMA合规完整报告+可视化
final_report = report_agent(state)
return final_report

关键技术细节

1. PDF解析级联策略：优先MinerU，解析失败依次降级LlamaParse、Mistral OCR，最大程度保留表格数字；
2. 效应量转换：支持t检验、回归系数、比值比等多种原始统计格式统一转为Hedges' g；
3. 随机效应模型采用REML迭代算法，DerSimonian-Laird作为初始方差估计；
4. 全套可视化基于Matplotlib，输出PNG/PDF矢量图；
5. LLM统一输出结构化JSON，便于机器校验数值抽取结果。

4.2 评测方案

以Hölbling et al. 2025已发表人工元分析作为黄金基准，评测维度：

1. 文献检索：召回率、精确率；
2. 全文筛选：纳入/剔除决策匹配度；
3. 单研究效应提取：相关性、回归拟合；
4. 整体合并效应：效应量差值、置信区间重叠度；
   评测指标：召回率、精确率、Pearson相关、OLS斜率、效应绝对差值。

4.3 工程部署实现

• 编程语言：Python 3.11
• 编排框架：LangGraph
• LLM接口：OpenRouter调用gpt-5.4-mini
• PDF解析：MinerU、LlamaParse、Mistral OCR
• 统计模块：NumPy、SciPy，自主实现REML、剪补法、Egger检验，不依赖第三方元分析库
• 单次完整分析资源消耗：约0.5小时，1M输入token、100K输出token，API成本约1.5美元
• 部署模式：支持本地离线开源大模型替换，模块化可增减数据库API

附录

附录A 全部智能体提示词模板

规划、检索、筛选、统计抽取、校验、报告生成全套系统提示JSON模板，存放开源仓库prompts目录。

附录B 完整实验数据表

1. 文献检索召回/精确率原始统计；
2. 单研究效应量人工vs自动化对照表；
3. 合并效应、异质性、偏倚检验完整数值；
4. 消融测试：不同LL基座性能对比。

附录C 可视化绘图代码

森林图、漏斗图、累积效应图、调节分层图、PRISMA流程图完整Python绘图脚本。

附录D 复现运行脚本

# 一键完整元分析复现命令
python main_auto_synthesis.py --query "你的研究问题" --databases pubmed,arxiv,semanticscholar
# 仅执行已有筛选结果的定量合成
python analysis_only.py --study_table study_extract.csv

附录E 环境依赖清单

langgraph、openrouter、numpy、scipy、matplotlib、mineru、llama-parse、pdfkit等完整pip依赖列表。

资源下载汇总

1. 论文HTML原文：https://arxiv.org/html/2607.15247v1
2. 论文PDF文件：https://arxiv.org/pdf/2607.15247
3. 开源代码仓库（完整运行脚本、提示词、可视化代码、评测数据集）：论文发布后公开
4. 复现部署文档：仓库README包含环境安装、API配置、批量分析命令