本文收录于专栏 开源小分子生成和设计实践 ------ 专栏系统覆盖开源小分子生成与设计工具,点击订阅可跟踪后续更新。
你让 GPT-4o 或 DeepSeek 做单步逆合成,Top-1 准确率通常只有个位数到 10% 出头------分子符号推理是通用大模型的短板。华东师大团队 2026 年 4 月在 CCS Chemistry 正式发表 ECNU-ChemGPT:用 848,176 条教材蒸馏问答对加 117.6 万条关键词扩展数据微调 Qwen2-72B 做化学问答,用 378 万条清洗后的 Pistachio 反应数据微调 T5-large 做逆合成,USPTO-50K 上 Top-1 达 68.3%(已知反应类型),并完整复现 7 条真实药物合成路线。这篇按论文原文与开源仓库逐项拆解它的双轨数据构建、专家模型分工与 BrainGPT 调度设计,同时标定真实数据集 19.6% 精确匹配的现实边界,帮你判断逆合成项目要不要引入它。
关键字:ECNU-ChemGPT;逆合成预测;化学垂直大模型;BrainGPT;Pistachio;USPTO-50K;LoRA 微调;多模型调度
目录
- [§0. 相关教程与核心文献](#§0. 相关教程与核心文献)
- [§1. 场景:通用 LLM 做化学为什么不行](#§1. 场景:通用 LLM 做化学为什么不行)
- [§2. 核心思路:三层架构与四条策略](#§2. 核心思路:三层架构与四条策略)
- [§3. 关键实验数据](#§3. 关键实验数据)
- [§4. 与同类工具对比](#§4. 与同类工具对比)
- [§5. 局限与展望](#§5. 局限与展望)
- [§6. 开源资源与可用性](#§6. 开源资源与可用性)
- [§7. 结语](#§7. 结语)
§0. 相关教程与核心文献
| 资源 | 链接 | 与本文关系 |
|---|---|---|
| 论文正式版(CCS Chemistry 2026) | 10.31635/ccschem.026.202607359 | 本文主要数据来源 |
| arXiv 预印本 v2 | arXiv:2507.01444 | 开放获取全文 |
| 训练代码仓库 | github.com/ilog-ecnu/ECNU-ChemGPT | QA 训练/推理代码 |
| BrainGPT 调度模块 | github.com/1920993165/BrainGPT1 | 调度中枢代码 |
| 收集的反应数据集 | github.com/zhangyq9697/ECNU-ChemGPT | 262 条药物路线数据 |
| Hugging Face 模型 | ALmonster/ChemGPT2-QA-72B | 问答模型权重 |
§1. 场景:通用 LLM 做化学为什么不行
你想给一个目标分子反推合成路线,把 SMILES 丢给 GPT-4o 或 DeepSeek,得到的答案要么结构式画错、要么编造不存在的反应------这是化学 AI 落地最常踩的坑。论文原文把通用大模型在化学领域的四个短板列得很直白:
- 多模态知识难消化------文字描述、结构式、SMILES 记号混杂,通用模型没有为化学符号体系预训练;
- 逆合成数据稀缺------可用反应数据要么规模太小(USPTO-50K 只有 5 万条),要么噪声太多;
- 幻觉严重------模型给出看似有据实则虚构的答案,而化学恰恰是"错一个原子都不行"的学科;
- 单模型多任务瓶颈------问答、逆合成、绘图全塞给一个模型,每样都不精。
数字更能说明问题。论文 Table 2 实测:GPT-4o-mini 在 USPTO-50K 上 Top-1 准确率 0.06%、o3-mini 10.41%、DeepSeek-V3 2.76%、DeepSeek-R1 3.12%------通用模型在单步逆合成上几乎全军覆没。ECNU-ChemGPT 的答案不是"更大的通用模型",而是"数据 + 专家 + 调度"的系统性工程。
§2. 核心思路:三层架构与四条策略
!在这里插入图片描述(https://i-blog.csdnimg.cn/direct/23614b84409b4615a0c3a0c2349d0318.png)
整个系统分三层,上图只画主干------两条数据通道喂两个专家模型,BrainGPT 负责按用户意图分发任务。
2.1 数据层:双轨问答数据 + 清洗反应数据
化学问答数据走两条独立构建路径:
| 路径 | 起点 | 中间步骤 | 产出 |
|---|---|---|---|
| 教科书蒸馏 | 400 本中英文权威教材 | Mathpix 转 Markdown → 结构化 Prompt → GPT-4o 生成问答对 | 848,176 条问答对 |
| 关键词引导扩展 | 120 个基础化学词汇 | LLM 多轮迭代扩展 → 问题生成 → GPT-4o 批量作答 | 406,806 条指令 + 117.6 万个问题 |
按论文原文,教科书路线保证知识深度(覆盖有机、无机、分析、物化、生化),关键词扩展路线补广度------尤其有机金属催化、生物医药交叉这类教材覆盖不到的冷门方向。两条路互为补充,不是二选一。
逆合成数据没用 USPTO-50K,直接上 Pistachio:
- 原始 Pistachio 数据库 2,455 万条反应记录(约 600 万条去重后唯一反应);
- RDKit 标准化 SMILES、去重、剔除重原子数 ≤3 的小分子干扰项;
- 最终清洗出 3,781,569 条高质量反应记录用于微调------规模是 USPTO-50K 的 75 倍。
2.2 模型层:按任务选基座,不盲目堆参数
| 子模型 | 基座 | 微调方式 | 选型理由(论文原意) |
|---|---|---|---|
| 知识问答 | Qwen2-72B-Instruct | LoRA(约 1.17% 参数可训) | 推理能力强,LoRA 降算力成本 |
| 逆合成 | T5-large(770M) | 全量微调 | 编码器-解码器结构契合"产物→反应物"的序列到序列任务 |
| 调度器 | ChatGLM3-6B | 两阶段训练 | 轻量、多轮对话成熟、部署开销低 |
训练资源是 8 张 A800 80GB。72B 问答模型只训 1.17% 参数、逆合成只用 770M 的 T5-large------"分而治之、按任务选型"是这套工作最务实的地方。
2.3 调度层:BrainGPT 是学出来的路由器
BrainGPT 并非为化学专门打造------它是团队 2024 年 5 月开源的通用工具调用对话模型(github.com/1920993165/BrainGPT1,基于 ChatGLM3-6B 全量微调,BSD-3 协议),原始版本就支持问答、画图(SDXL)、识图(InternLM-XComposer)、B 站搜索、天气查询 5 类工具的自主调用。共同一作刘文涛把它"化学化"后移植进本工作(HF 上单独发布为 Braingpt1-Chem,12.5 GB),比 ChemGPT 论文早一年------这也是它能脱离两个专家模型独立部署的原因。
化学版两阶段训练:先用人工标注小样本起步,再用真实用户日志纠错重训。它不是写死的 if-else------论文实测 1000 条真实用户查询:
- 规则/关键词路由准确率 63.1%;
- BrainGPT 学习式路由 96.5%。
论文还指出静态 prompt 引导的工具调用在集成工具超过 3 个后性能明显退化,而现实中用户提问五花八门------"帮我逆合成这个分子"和"这个反应机理是什么"需要路由到不同专家。33 个百分点的路由提升,是多任务系统真正解决"接错线"问题的证据。
§3. 关键实验数据
3.1 化学问答:平均分超 GPT-4o 与 DeepSeek 系列
按论文 Table 1(公众号推文转引的完整对比表与 arXiv 版一致),ECNU-ChemGPT 在 7 个基准上的综合平均分 83.79,超过所有对比模型;大学化学单科 83.33(Qwen2 基座为 79.17)。论文正文还给出两个相对提升:相较 GPT-4o 平均分提升 8.5%,相较 DeepSeek-R1 提升 5.7%。
| 模型 | 大学化学 | 高中化学 | MMLU 大学化学 | C-MHChem | 平均 |
|---|---|---|---|---|---|
| GPT-4o | 66.67 | 52.63 | 70.67 | 62.98 | 75.29 |
| DeepSeek-V3 | 77.78 | 77.19 | 66.33 | 74.52 | 80.99 |
| DeepSeek-R1 | 47.22 | 63.16 | 71.33 | 83.81 | 78.09 |
| Qwen2-72B(基座) | 79.17 | 89.47 | 60.33 | 75.34 | 81.61 |
| ECNU-ChemGPT | 83.33 | 89.47 | 61.00 | 82.45 | 83.79 |
(完整 12 模型 × 8 基准的表建议读论文 Table 1;此处抽核心列。)
3.2 逆合成:68.3% 的 Top-1 与真实药物路线验证
基准测试(USPTO-50K,论文 Table 2/3):
| 口径 | Top-1 准确率 |
|---|---|
| 已知反应类型 | 68.3% |
| 未知反应类型 | 50.1% |
| 对照:o3-mini(已知类型) | 10.41% |
| 对照:ChemDFM-8B(已知类型) | 6.47% |
68.3% 也超过了多数经典模板无关方法(RetroSim 52.9 / SCROP 59 / GLN 64.2 / LocalRetro 63.9),与图模型 RetroExplainer(66.8)同一梯队;未知反应类型 50.1% 低于 RetroExplainer 的 57.7------这是它与专用图模型的真实差距,选型时要看你的场景是否已知反应类型。
真实药物路线验证 (论文最具说服力的部分):团队从文献和专利收集 262 条真实药物合成路线(1,448 步单步反应),与训练集零重叠:
| 评价口径 | Top-1 | Top-3 | Top-10 | Top-15 |
|---|---|---|---|---|
| 精确匹配 | 19.6% | 45.7% | 64.6% | 71.1% |
| 相似度 ≥95% 放宽 | 20.9% | 50.8% | 81.1% | 98.2% |
模型完整复现(精确匹配)了 7 条真实药物合成路线:托伐普坦、瑞德西韦、达利雷生、阿贝西利、巴瑞克替尼、贝曲沙班(arXiv 版写 13 条,正式发表版修订为 7 条,以正式版为准)。注意精确匹配 Top-1 只有 19.6%------基准高分不等于车间可用,这是读这类论文必须留的清醒。
§4. 与同类工具对比
| 维度 | ECNU-ChemGPT | 通用 LLM(GPT-4o 等) | 经典逆合成模型(LocalRetro/GLN) | ChemDFM 等化学 LLM |
|---|---|---|---|---|
| 单步逆合成 Top-1(USPTO-50K) | 68.3% | 个位数~10% | 60-67% | 4-6% |
| 化学知识问答 | 83.79 平均 | 75-81 | --- | 弱于通用模型 |
| 多任务调度 | BrainGPT 学习式路由 | 单模型硬扛 | --- | 单模型 |
| 反应数据规模 | 378 万条 Pistachio | 无领域微调 | 5 万条 USPTO-50K | 百万级 |
| 路线级验证 | 262 条真实药物路线 | 无 | 少量案例 | 无系统验证 |
| 获取方式 | 开源代码 + HF 权重 | API 付费 | 开源 | 部分开源 |
选型建议:化学问答 + 逆合成一体化需求 选 ECNU-ChemGPT(BrainGPT 调度是独有卖点);只要单步逆合成且已知反应类型 ,图模型 RetroExplainer(66.8/57.7)在未知类型上更强,可作对照基线;通用模型直接做逆合成目前仍不可行,只适合做路线解读与文献检索。
§5. 局限与展望
论文自身承认与实测观察的局限:
- 覆盖盲区------有机金属、光化学等小众反应类型数据不足,预测路线在这些方向不可靠;
- 精确匹配偏低------真实药物数据集 Top-1 仅 19.6%,论文解释是实际工艺要考虑安全性、成本等非化学最优因素,但这也提醒基准高分 ≠ 工艺可用;
- 宽松指标要审慎读------"相似度 ≥95% 算命中"这类标准展示潜力可以,直接当产出质量会误判;
- 幻觉评估非金标准------幻觉率由 GPT-4o/DeepSeek-R1 双评审(微调后 0.395,相对降低 9.2%-21.0%),LLM-as-judge 本身有偏差;
- 工程现状------训练代码 2025-07 后无更新(仓库 API 探活),在线服务 chemgpt.lrcwtech.com 返回 502、multiasr 超时(2026-10 时点核验),生产使用需自建。
展望方向:扩充薄弱反应类型数据、加强分子表征与语言推理融合、把 BrainGPT 式调度推广到更多化学工具编排。
§6. 开源资源与可用性
按 GitHub 仓库与 Hugging Face 页面核验(2026-10 时点):
| 资源 | 状态 | 说明 |
|---|---|---|
| ilog-ecnu/ECNU-ChemGPT | 活但低活跃 | 4★,Python,含 ChemGPT-QA 训练/推理代码 |
| ALmonster/ChemGPT2-QA-72B | HF 在线 | 72B 问答权重,vLLM/SGLang 加载 |
| 1920993165/BrainGPT1 | 活但低活跃 | 6★,BSD-3,ChatGLM3 基座调度器 |
| zhangyq9697/ECNU-ChemGPT | 数据仓 | MIT,262 条药物路线 CSV |
| chemgpt.lrcwtech.com 在线服务 | 502 | 官方在线服务当前不可用,需自部署 |
| multiasr.lrcwtech.com 多步工具 | 超时 | 同上 |
自部署现实评估:逆合成模型(68.3% 主角)权重未发布 ------仓库 saved/ 目录只有 config.json 无模型文件,378 万条 Pistachio 数据也未随仓库公开(NextMove 专利库,学术申请获取),复现需按论文流程自建数据重训基座 flan-t5-large。问答权重 ChemGPT2-QA-72B 页面核验 288.9 GB fp32 (63 分片),需多张 80GB 卡 vLLM 起(仓库带 test_vllm.py,另附 7B/32B 训练脚本但未发布对应权重)。三件套里唯一单卡可跑的是调度器 Braingpt1-Chem(12.5 GB fp32,fp16 约 6.2 GB)------恰好它源自独立项目,可脱离专家模型单独测试工具路由能力。
§7. 结语
ECNU-ChemGPT 的价值不在"又一个化学 GPT",而在三件可迁移的方法论:数据要两条路互补 (教材蒸馏保深度、关键词扩展保广度);模型要按任务分工 (72B 问答 + 770M 逆合成,不盲目堆参数);多任务要学习式调度(96.5% vs 63.1% 的路由准确率差距)。对逆合成项目而言,68.3% 的 Top-1 与 7 条真实药物路线复现证明了"领域微调 + 大规模清洗数据"路线的产出上限;而 19.6% 的精确匹配 Top-1 则标定了它的现实边界------它现在是资深合成人员的强助手,还替代不了路线设计里的工艺与成本判断。
参考来源
- 论文:Zhang Y, Liu W, Zhang Y, et al. ECNU-ChemGPT: A Large Language Model for Chemistry and Retrosynthesis Prediction. CCS Chemistry, 2026. 10.31635/ccschem.026.202607359
- 预印本:Zhang Y, et al. A Large Language Model for Chemistry and Retrosynthesis Predictions. arXiv:2507.01444, 2025. arXiv 链接
- 仓库:ilog-ecnu/ECNU-ChemGPT | BrainGPT1 | 反应数据集
- 模型:ALmonster/ChemGPT2-QA-72B | Braingpt1-Chem
系列导航 :专栏全集 开源小分子生成和设计实践
更多专栏:
| 蛋白 / 抗体 / 多肽 / 核酸 | 分子模拟 / 动力学 / 对接 | 药物 / 设计 / 案例 | AI / Agent / 大模型 |
|---|---|---|---|
| 开源蛋白结构预测 | 分子模拟基础 | 小分子药物设计案例 | AI Agent系列 |
| 开源蛋白生成方法实践 | 分子动力学模拟-Amber | 蛋白药物设计案例 | 化学大模型 |
| 开源多肽设计模型 | 分子动力学模拟-Gromacs | 多肽药物设计案例 | 《AI Agent原理与实战》 |
| 开源多肽性质预测 | 分子动力学模拟-OpenMM | 开源小分子生成设计 | CADD中的机器学习模型 |
| DNA/RNA药物设计 | 結合自由能 | 高效计算配置 | 《MCP 入门实战》 |
| siRNA药物设计模型 | UCSF DOCK系列 | 我胡师兄说药 | 《AI入门实战2026》 |
| ASO药物设计模型 | rDock系列 LeDock系列 gnina系列 | 《经典机器学习实战》 |