论文：AI Agents for the Science of Science: A Survey of Tasks, Architectures, Evaluations, and Challenges（东北大学 Network Science Institute），发表于 Findings of ACL 2026。
一、论文结构
| 章节 | 内容 |
|---|---|
| §2 能力 | 先梳理 ABM → LLM → AI Agent 三种范式的演进（表 1、图 1），再讲 Agent 在科学学（SciSci）研究中的 5 项核心能力：推理规划、工具使用、大规模语义分析、科学家行为模拟、假设生成 |
| §3 分类法 | 按任务把 Agent 分成两类。Agents as Simulations：引文网络、合作动态、同行评审。Agents as Tools：自动审稿、研究想法生成、科学声明验证、SciSci 工作流自动化（表 2） |
| §4 架构 | 单智能体、多智能体、混合三种模式（图 2、表 6）；5 类角色：规划者、文献专家、分析者、写作者、批评者（表 3、表 5） |
| §5 学习范式 | SFT、偏好优化（GRPO/DPO/KTO）、推理时适配（ICL、RAG、反思） |
| §6 评估 | 人工评估与 4 类自动评估；基准和语料汇总（表 4） |
| §7 挑战 | Agent 同时是研究工具和研究对象（反身性）、人机评估不一致、幻觉、偏见放大 |
二、主要贡献
- 定位清晰，填了一个交叉领域的空位。 已有综述大多面向 AI4Science 或 AI4Research（如 Zheng 2025、Wei 2025、Chen 2025a），关注的是"用 AI 做科研"。这篇聚焦"用 Agent 研究科学本身"，视角不同。
- "模拟 vs 工具"的二分法有概念价值。
- 每个任务都对应一个 SciSci 核心问题。例如把想法生成对应到 Uzzi 的"非典型知识组合"理论，把引文建模对应到优先连接和幂律。这样 Agent 系统就和已有的 SciSci 理论接上了。
- 收录标准是系统"必须把某个已有的 SciSci 理论构念操作化"。这条标准试图把这篇综述和一般的科研自动化综述区分开。
- 论文提出了一个有洞察的观点：Agent 是双重角色。它是研究科学的工具，它生成的引文网络、评审意见、想法本身又成了新的 SciSci 研究对象。
3. 对架构做了较系统的归纳。 单/多/混合三种模式、5 类角色，加上角色 × 任务矩阵（表 5）和系统分类表（表 6），便于读者快速定位已有系统的设计。图 3 的理想化混合工作流也可以作为设计参考。
4. 点出了一个有价值的空白：偏好优化被忽视。 论文观察到，几乎所有系统都只靠推理时技巧（提示、RAG、反思），微调和偏好优化很少见，只有 REMOR 用了 SFT 加 GRPO。这为后续研究指了一个具体方向。
5. 评估部分收录了几个关键数据，有警示作用。 Agent Laboratory 发现 LLM 审稿人的打分比人类高约 60%；ResearchTown 报告 LLM 与人类评估的相关只有 r=0.49；Si et al. 2024 发现 LLM 想法更新颖但可行性更低。论文还整理了基准和语料清单（表 4）。
6. 把 SciSci 特有的风险摆上了台面。 一是 LLM 本身带有引用偏差，更偏向高被引论文（Algaba 2025）；二是 AI 工具提高了个人产出，却让整体科学关注面收窄（Hao et al., Nature 2025）。用这样的 Agent 研究科学，可能放大 SciSci 本来要研究的那些偏见。
如图所示三种计算范式：
如图所示SciSci智能体系统的架构模式：
三、不足与可改进之处
1. 覆盖面窄，"模拟"一支尤其单薄
- 引文建模和同行评审模拟各只有 1 个代表系统（CiteAgent、AgentReview）。
- 引言里列出的 SciSci 核心议题，Agent 部分几乎都没覆盖：科研生涯、人员流动、资助分配、机构不平等、团队规模与颠覆性（Wu 2019）、知识扩散。论文也没说明这些方向是"还没有相关工作"还是"没有检索到"。如果是前者，本应作为明确的研究议程提出来。
- 全文只覆盖二十余个系统，作为综述体量偏小。
2. 分类边界和收录标准执行不一致
- 收录标准要求"操作化 SciSci 构念"，但 AI Scientist、Agent Laboratory、AgentRxiv、ChemCrow（化学工具）、BioAgents 本质上是通用科研或领域科研 Agent，只是被事后贴上了 SciSci 标签。
- SciFact 是数据集或任务，不是 Agent，却在表 2 和表 5 中被列为"代表系统"。
- Agent Laboratory、AgentRxiv 被归到"合作动态模拟"，但它们的目标是自动完成研究，并不是检验关于合作的 SciSci 假设。模拟和工具的界线在实际归类时很模糊。作者在 Limitations 里把这种模糊性称为"新兴领域的特征而非分类法缺陷"，有些回避问题。
- 表 5 用实心、半实心、空心圆标注角色是否具备，但没有给出判定标准，主观性较强。
3. 缺少系统的文献检索方法
没有交代检索数据库、关键词、时间窗、筛选流程（PRISMA 之类）和最终数量，读者无法判断覆盖是否完整、选择是否有偏差。
4. 对模拟有效性的讨论不够深入
这是 SciSci 视角下最该深挖的问题，却基本没展开：
- 用"复现幂律或优先连接"之类的典型事实来验证模拟，证据很弱。不同机制可以产生相同的宏观分布（等终性问题）。
- 没有讨论 LLM 角色模拟的保真度问题，例如人格同质化、WEIRD 偏差、训练数据污染（模型可能只是"记住"了引用模式），以及结果对模型选择和随机种子的敏感性。
- 有意思的是，论文自己提到"不同 LLM 会产生系统性不同的连接动态"（CiteAgent），这恰恰说明模拟结论依赖于所用模型，但论文没有就此追问。
- 与传统 ABM 在可解释性、校准方法、因果识别上的对比，只停留在表 1 的一行概括。
5. 部分论述偏宣传，批判性不足
- §2 里"LLM 内化了科学推理与社交模式，可以实现逼真的科学家模拟"等说法缺少证据支撑。
- PaperQA2 的"85.2% vs 人类专家 73.8%"被直接引用，没有讨论这个基准的规模（248 题）和对比条件。
6. 学习范式和挑战两节偏薄
- §5 的实例很少，只有 REMOR 和 BioAgents，后者还不是 SciSci 系统。对 DPO/KTO 的建议停留在"可能适用"的推测层面。
- §7 只有约一栏篇幅，没有形成具体的研究路线图。伦理问题基本缺席：Agent 结论被用于科研评价和政策时的风险、被刷指标（Goodhart 效应）、数据许可、评审自动化的责任归属等。反身性是全文最有原创性的论点，却没有展开。
四、总体评价
这篇短综述问题定位好、框架清楚。"模拟 vs 工具"的二分法，以及"Agent 既是工具又是研究对象"的反身性观点，是它最有价值的贡献，可以作为进入这个交叉方向的入门地图。
它的主要短板有三点：
- 广度：模拟方向的系统太少，大量 SciSci 核心议题没有覆盖。
- 方法：缺少系统检索流程，收录标准执行不一致。
- 深度：对模拟有效性、LLM 偏差和伦理的批判性分析不足。
继续这个方向的研究，最值得切入的空白是：用 Agent 模拟科研生涯、资助、流动等尚未覆盖的 SciSci 议题；建立比"复现典型事实"更严格的模拟验证方法；以及用偏好优化让 Agent 对齐科学规范。