ProteinGeoBench：前沿结构生物学智能体擅长信息检索，但几何计算能力存在短板
原文网页：https://arxiv.org/html/2610.26829v1
PDF链接：https://arxiv.org/pdf/2610.26829v1
arXiv编号：arXiv:2610.26829v1 cs.AI
摘要
前沿大模型智能体在蛋白质结构元数据检索任务表现优异，但从原子坐标开展几何数值计算的可靠性较差。本文探究：基准综合得分多大程度来源于该能力鸿沟，又有多大程度来源于模型周边的评测配置条件。
基于ProteinGeoBench这套包含131道蛋白质结构任务的评测套件，本文完成4个前沿模型共计4249次推演，同时扩展对26个模型开展4486次试验。4个前沿模型中3个综合得分十分接近（0.785‑0.816），统计上无法区分；第4个模型得分0.707，与其余三者的差距统计显著。其中3个模型在元数据检索任务表现优于数值计算任务，第4个模型则在数值计算上略占优势。数值计算类任务仅占全部131道任务中的28道，但却是全部4个模型均失败的12道任务中的半数。
模型排名高度依赖评测预算：每道任务仅运行1次时，23.9%的bootstrap重采样结果会将不同模型排到第一名。在选定的15道任务子集上，完全关闭网络访问带来的性能下降幅度，大于屏蔽8个结构生物学数据库域名带来的下降；但两组对比在不同评分轮次完成，无法做干净的效应分解。替换为各模型原生命令行智能体，得分变化区间‑0.071~+0.086，该幅度较小，无法排除中等程度编排层（harness）效应。
横跨26个模型的实验显示：数值任务性能会随着非数值任务性能同步提升，而非维持在固定水平。由于各组实验使用不同任务子集，无法对模型、编排层、网络访问、任务构成这几个因素做统一排序。开展该领域评测时，建议按任务类别分项报告结果，同时注明每任务运行次数、智能体编排层、网络访问条件。
关键词
蛋白质结构生物学；智能体评测；ProteinGeoBench；几何计算；生物信息智能体；基准评测鲁棒性
目录
- 引言
- 任务与实验设计
- 实验结果
- [3.1 不同模型、不同任务类别得分](#3.1 不同模型、不同任务类别得分)
- [3.2 领域专家标注难度等级下的得分](#3.2 领域专家标注难度等级下的得分)
- [3.3 模型排名的稳定性](#3.3 模型排名的稳定性)
- [3.4 网络访问条件的影响](#3.4 网络访问条件的影响)
- [3.5 编排层（Harness）对比实验](#3.5 编排层（Harness）对比实验)
- 数值计算任务专项分析
- [4.1 26个模型的数值/非数值任务表现](#4.1 26个模型的数值/非数值任务表现)
- [4.2 失败案例与部分得分现象](#4.2 失败案例与部分得分现象)
- 讨论
- 结论
- 附录简要说明
1 引言
结构生物学家可能会向智能体提出两类问题：一是查询某个蛋白质结构的解析实验方法；二是基于PDB文件内的原子坐标，计算原子之间距离、二面扭转角。第一类问题的答案通常可以直接在数据库记录检索得到；第二类则要求智能体定位对应原子，完成数值运算。单一综合基准分数会掩盖两类任务之间巨大的能力差异。同时，最终得分并不仅仅取决于模型本身，还受智能体编排层、网络可访问资源、基准任务集构成影响。
本文使用ProteinGeoBench评测套件，一共131道蛋白质结构任务，覆盖元数据检索、序列校验、数值几何计算、概念推理四大任务类别。
实验发现：4个前沿模型中3个在元数据检索任务表现优秀，但数值几何计算任务表现明显变差。以Claude Opus 5为例，检索任务平均分0.907，而数值计算任务仅0.716，整体综合得分0.816，该分数并不能很好代表任意一类任务的真实水平。
本文核心动机：很多现实使用场景中，蛋白质结构没有录入公开数据库，例如新解析的实验结构、内部预测模型。131道任务中有30道使用这类私有结构，其中10道来自分子动力学模拟得到的钙粘蛋白结构，20道为预测得到的agatoxin毒素蛋白结构。去掉元数据的PDB文件、限制网络访问，用来近似该现实场景，但仅作为近似模拟。
本文主要贡献
- 实证揭示综合基准分数掩盖的能力差异；分析各类任务难度、网络访问、编排层、任务运行次数对评测结果的影响。
- 发现数值几何计算任务是前沿生物智能体的主要短板；这类任务占总任务21.4%，却占到全部模型共同失败任务的一半。
- 分析模型排名的统计稳定性：每任务仅跑1次时，近四分之一重采样会改变第一名；编排层、网络条件会显著改变评测输出。
- 在附录给出一套可复现的评测自检清单，供后续研究者校验自身实验结果。
2 任务与实验设计
2.1 智能体输入输出
每道任务提供一个或多个蛋白质结构文件（PDB格式），以及自然语言问题。文件来源包含：公开PDB实验条目、去除元数据的PDB副本、AlphaFold预测结构、分子动力学模拟得到的嵌合钙粘蛋白结构。
智能体可以使用Shell、Python环境，预装Biopython等结构生物学工具库；除特定实验组外，默认允许网络访问。智能体将文本答案写入指定输出文件。
每道任务包含：任务指令、真值答案、评分规范、可执行Python验证器。
任务分类统计：
| 任务类别 | 任务数量 | 难度等级 | 任务数量 |
|---|---|---|---|
| 元数据检索 | 36 | 本科难度 | 96 |
| 序列校验 | 51 | 研究生难度 | 22 |
| 数值几何计算 | 28 | 博士难度 | 13 |
| 概念推理 | 16 | ‑ | ‑ |
| 合计 | 131 | 合计 | 131 |
- 元数据检索：查询实验方法、分辨率等已经记录在数据库的属性；
- 序列校验：校验蛋白链、残基相关陈述；
- 数值几何计算：基于原子坐标做距离、二面角等定量计算；
- 概念推理：跨多个蛋白结构做解读、推理。
难度等级由领域专家标注，没有开展交叉标注，因此不提供标注一致性指标。
现象举例：某二面角计算任务，真值为‑42.90°；26模型实验中7个可复现的失败样本，有6个输出+42.9°。指令明确给出4个原子顺序，但智能体输出符号相反。区分究竟是原子读取顺序颠倒、手性约定误用还是底层计算bug，必须查看完整执行轨迹。
2.2 评分规则
智能体执行结束，Python验证器读取输出文件，提取结果，输出0‑1加权奖励。
- 数值字段：设置绝对容差阈值（例如二面角±0.02°）；残基集合使用Jaccard相似度；
- 概念推理类16道任务，部分使用LLM裁判Claude Haiku 4.5打分；该部分权重占整套基准总奖励权重5.3%，剩余94.7%全部为确定性程序判定。
裁判一致性校验：挑选9道概念推理任务，使用3个不同家族大模型裁判对268条试验重打分；Krippendorff's α仅0.105，裁判之间一致性很差。裁判给出分数普遍高于同一试验确定性组件得分，两者相关性弱KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲r=0.193\)。说明LLM裁判本身存在较大不确定性。
部分任务设置部分得分：例如非空答案直接拿0.1分，完全正确拿0.9分；完全错误的输出依然可以得到0.1分，会影响综合分数解读。
统计说明：报告均值为同一任务多次运行的平均奖励，再对全部任务取平均；95%置信区间使用5000次任务bootstrap重采样；本文没有做多重比较校正。
2.3 智能体编排层与四组实验
参考编排层使用terminus‑2（Terminal‑Bench配套终端智能体）；所有任务使用Harbor框架打包运行；每个试验运行在独立Modal沙盒，限制：单CPU、2GB内存，智能体最大运行时间2400s，验证器最大240s。
四组主要实验：
- 前沿模型实验：4个模型，全部131道任务；3个模型每任务最多8次运行，Gemini 3.1 Pro部分任务补充运行，最多10次；总推演4249次。
- 大规模模型扫描：来自9个厂商共26个模型；候选27道任务，每任务4次运行；筛选后20道任务用于模型对比；之后补充17道数值任务；总试验4486次。
- 编排层对比实验：选取15道任务子集；分别使用参考harness与各模型原生命令行智能体运行，每任务4次。
- 网络访问控制实验：同样15道任务子集；设置完整网络、DNS屏蔽8个结构数据库域名、完全断网等多组条件。
| 对比实验组 | 任务集合 | 模型数量 | 有效试验数 |
|---|---|---|---|
| 前沿模型 | 131道 | 4 | 4249 |
| 模型扫描（候选） | 27道（分析20道） | 26 | 2738 |
| 数值任务扩展 | 17道新增数值任务 | 26 | 1748 |
| 原生/参考编排层对比 | 15道匹配任务 | 4 | 480 |
| 8个域名屏蔽 | 15道匹配任务 | 4 | 240 |
| 坐标源+网络开关 | 15道（AlphaFold为13） | 4 | 1376 |
15道任务子集不是随机采样，可以在同一套坐标源（实验PDB、去元数据副本、AlphaFold预测）下开展评测。不同实验组使用不同任务子集，不能直接横向对比模型、编排层、网络访问三者效应大小。
3 实验结果
3.1 不同模型、不同任务类别得分
4个前沿模型整体结果：
| 模型 | 平均分 | 95%置信区间 | 完全成功样例 | 推演总次数 |
|---|---|---|---|---|
| Claude Opus 5 | 0.816 | 0.770, 0.860 | 519 / 1032 (50.3%) | 1032 |
| GPT‑5.6‑sol | 0.812 | 0.766, 0.856 | 518 / 1033 (50.1%) | 1033 |
| Grok 4.5 | 0.785 | 0.733, 0.834 | 490 / 1031 (47.5%) | 1031 |
| Gemini 3.1 Pro Preview | 0.707 | 0.653, 0.758 | 434 / 1153 (37.6%) | 1153 |
统计结论：Claude Opus5、GPT‑5.6‑sol、Grok4.5三者得分非常接近，多数配对对比置信区间包含0，统计无法区分；只有Gemini 3.1 Pro和另外三者差距统计显著。
按任务类别拆分得分：
| 任务类别 | 任务数 | Claude Opus 5 | GPT‑5.6‑sol | Grok 4.5 | Gemini 3.1 Pro |
|---|---|---|---|---|---|
| 元数据检索 | 36 | 0.907 | 0.852 | 0.855 | 0.713 |
| 序列校验 | 51 | 0.790 | 0.820 | 0.799 | 0.698 |
| 概念推理 | 15 | 0.869 | 0.809 | 0.852 | 0.681 |
| 数值几何计算 | 28 | 0.716 | 0.749 | 0.636 | 0.731 |
关键观测：
- Claude Opus5、GPT‑5.6‑sol、Grok4.5三个模型：元数据检索得分最高，数值几何计算是最弱类别；
- Gemini 3.1 Pro是特例：数值计算反而是它得分最高类别，概念推理最弱；
- 全部4个模型都失败的一共12道任务；其中6道属于数值计算任务。数值任务占总任务21.4%，占共同失败任务50%，富集倍数2.3倍。
3.2 领域专家标注难度等级下的得分
全部4个模型在研究生难度任务得分最低（0.64‑0.74），低于本科难度（0.73‑0.83）与博士难度（0.65‑0.85）；两个模型博士难度任务得分最高。
专家主观标注难度，和智能体实际表现难度并不单调对应。研究生难度集合包含更多几何类难题。按任务类别划分比单纯按专家难度等级划分，更能解释性能差异。
3.3 模型排名的稳定性
基于99道全部4模型都完成8次运行的任务，做bootstrap重采样，模拟每任务仅跑1/2/4/8次运行，观察模型排序稳定性。
| 每任务运行次数k | 完全匹配参考排序占比 | 第一名保持不变占比 | 平均τ系数 | 不同排序组合数 |
|---|---|---|---|---|
| 1 | 65.2% | 76.1% | 0.877 | 6 |
| 2 | 79.1% | 83.3% | 0.930 | 5 |
| 4 | 91.4% | 92.0% | 0.971 | 3 |
| 8 | 97.6% | 97.7% | 0.992 | 3 |
重要结论：每道任务只运行1次，23.9%重采样会出现第一名模型发生改变。评测报告必须注明每任务重复运行次数。
3.4 网络访问条件的影响
15道任务子集，在沙盒DNS层面屏蔽RCSB、PDBe、UniProt、NCBI等8个主流结构数据库域名，其余互联网可访问。
- 完整网络平均分：0.752
- 屏蔽8个数据库域名后平均分：0.662，下降0.090。
性能下降集中于少数几道任务：Ramachandran异常点查询、文献解离常数查询（无法从PDB文件直接计算，必须查外部资料）。7道任务下降超过0.05；5道变化很小；3道任务反而得分上升。
完全关闭网络的实验组在另一套评分轮次完成，得到平均分0.515。两组对比来自不同评分轮次，不能干净分解效应。只能确认：屏蔽8个数据库会带来性能下降，完全断网下降更大，但无法量化其它网络来源贡献占比。
3.5 编排层（Harness）对比实验
将参考terminus‑2编排层替换为各个厂商原生命令行智能体，15道任务子集：
| 模型（原生智能体） | 参考编排层得分 | 原生编排层得分 | 得分变化 | 95%置信区间 |
|---|---|---|---|---|
| Claude Opus 5 (claude‑code) | 0.817 | 0.746 | ‑0.071 | ‑0.157, +0.002 不显著 |
| GPT‑5.6‑sol (codex) | 0.756 | 0.783 | +0.028 | ‑0.042, +0.120 不显著 |
| Gemini 3.1 Pro (gemini‑cli) | 0.763 | 0.849 | +0.086 | +0.012, +0.173 显著 |
| Grok 4.5 (grok‑build) | 0.672 | 0.747 | +0.076 | ‑0.079, +0.196 不显著 |
编排层会改变评测结果；但15道任务样本量有限，中等幅度的编排层效应有可能无法被检测出来。原生编排层同时改变系统提示、权限、轮次上限、token消耗，本实验无法区分到底是哪一项造成得分变化。
4 数值计算任务专项分析
4.1 26个模型的数值/非数值任务表现
对26个不同厂商模型做回归：以非数值任务平均分为自变量，预测数值任务平均分。回归斜率0.941，95%CI 0.501, 1.340，区间包含1。
结论：模型在非数值任务上性能越高，数值几何计算任务性能同步提升；并不存在"非数值能力提升，但数值能力完全停滞"的现象。但该结果不能排除始终存在固定性能鸿沟。
4.2 失败案例与部分得分现象
部分任务设置0.1的完整性基础分，即使答案完全错误，只要输出非空文本就拿到该分数。这会抬高综合平均分，掩盖实质性失败。很多数值计算错误表现为符号颠倒（二面角正负号相反），需要完整执行轨迹才能定位根因，仅仅看最终答案文本不足以分析故障。
5 讨论
- 综合分数有误导性：同一个模型，检索任务与数值几何计算任务性能差距可以达到0.2分以上；单一综合数字会掩盖这种巨大能力差异。建议评测按任务类别分项汇报。
- 评测鲁棒性问题 ：
- 任务重复运行次数过少，模型排名不稳定；
- 智能体编排层harness、网络访问条件可以显著改变评测结果；
- LLM裁判本身一致性低，概念推理类任务需要谨慎使用裁判打分。
- 数值几何计算是当前结构生物学智能体的主要短板；但随着模型整体能力上涨，数值任务性能同步上涨，不是完全无法逾越的固有缺陷。
- 本基准模拟"无数据库网络"仅为近似；真实内部私有蛋白结构的使用场景还存在更多现实挑战。
评测实践建议
- 按任务子类分别报告得分，不只汇报整体综合平均分；
- 明确写明：每任务重复运行次数、智能体编排层/harness版本、网络访问/域名屏蔽条件；
- 报告bootstrap置信区间，关注排名的统计稳定性；
- 谨慎对待LLM裁判打分，优先使用可执行确定性验证器。
6 结论
本文基于ProteinGeoBench（131道蛋白质结构任务）系统评测前沿结构生物学智能体。结果表明：多数前沿模型擅长元数据信息检索，但蛋白质原子坐标几何数值计算存在明显短板；数值任务仅占全部任务21.4%，却占到全部模型共同失败任务的半数。
模型排名对评测条件高度敏感：每任务仅运行一次，近四分之一重采样会改变第一名；智能体编排层、网络访问权限都会改变最终评测得分。横跨26个模型的实验显示，数值计算性能会随着非数值任务性能同步提升，并非完全停滞。
不同实验组使用不同任务子集，因此不能对模型能力、编排层、网络访问做统一效应排序。开展生物智能体评测，应当分项报告不同任务类别的性能，同时完整披露评测运行次数、编排层、网络条件。全部任务、验证脚本、试验原始推演轨迹可参见项目附录与资源。
附录简要说明
- 附录A：面向后续研究者的评测自检清单；
- 附录B：全部实验组任务筛选、排除样本说明；
- 附录C：各个模型API参数、温度、推理努力度设置；
- 附录D：不同原生编排层token消耗统计；
- 附录E：15道任务子集选择理由；
- 附录F：模型之间任务失败集合Jaccard重合度；
- 附录J：LLM裁判一致性完整分析；
- 附录K：超时时间消融实验；
- 附录L：屏蔽域名实验组剔除超时样本后的补充统计；
- 附录M：任务样例，完整指令与真值示例。