人工智能应用- 预测化学反应:08. 基于 BERT 的化学反应分类

将化学反应方程式序列化为SMILES 格式后,我们可以像处理文本字符串一样处理化学反应数据。图 展示了 BERT 模型在化学反应分类中的系统结构。整个流程如下:

图 **:**基于 BERT 的化学反应分类。图片来源:Schwaller et al., 2021.

  1. 输入序列生成:将化学反应方程转换为 SMILES 格式,并在序列开头添加 CLS 符号,用于表示整个反应方程的特征。序列中间的">>"符号用于分隔反应物和生成物,类似于 BERT 处理自然语言文本时的 SEP符号。
  2. 序列编码:将 SMILES 序列输入 BERT 模型。通过多层 Transformer 编码,模型能够捕捉序列的上下文信息,并生成一个 CLS 向量作为整个反应方程的特征表示。
  3. 分类器训练:CLS 向量与已知化学反应类型的特征向量进行比较。参考与其最接近的反应类型,判断该化学反应属于哪一类。

研究人员在 13.2 万个化学反应上测试了该方法。结果显示:基于 BERT 的分类器达到了 98.2% 的分类准确率。传统方法的准确率仅 41.0%,远落后于BERT。这表明BERT 模型在捕捉复杂化学反应规律方面具有显著优势。

不仅如此,BERT 还能够识别影响化学反应分类的关键成分。在图 41.7中,阴影部分标出了 BERT 认为对分类结果起关键作用的化学成分,为化学家分析反应机理和特性提供了重要线索。

图 : 基于BERT 的分类预测可以定位化学反应中的关键成分。图中蓝色和绿色阴影部分对化学反应类型的判断起到了关键作用。图片来源:Schwaller et al., 2023.

相关推荐
张张123y8 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu44 分钟前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷11 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我12 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0112 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习