notes for datawhale summer camp chemistry task2

\[appendix/Task2_RNN.ipynb\|Task2_RNN.ipynb\]

本次的任务是进一步了解 AI4Science 相关知识,然后使用深度学习的方法建模。

你可以从中:了解一些相关历史、了解 SMILES 和分子指纹,并对 RDkit 工具包有更深的认识;探究深度学习方法如何建模化学中的序列问题。

随着计算机技术的发展,将化学知识用计算机存储的方法也一直在发展和进步

AI4Chemistry知识点补充

早期历史

AI4Science的发展历史大致也经历这三个阶段:

  1. 将化学知识以计算机形式存储,并构建数据库
  2. 机器学习
  3. 深度学习

SMILES

Simplified Molecular Input Line Entry Syetem, SMILES, 将化学分子用ASCII字符表示,在化学信息学领域举足轻重

![[appendix/Pasted image 20240730094417.png]]

事实上,使用图数据(grpah)表示分子是非常合适的。图网络相比于基于SMILES的序列网络,在某些方面会更胜一筹

分子指纹

分子指纹是一个具有固定长度的位向量(即由0,1组成),其中,每个为1的值表示这个分子具有某些特定的化学结构。

通常,分子指纹的维度都是上千的,也即记录了上千个子结构是否出现在分子中。

RDkit

化学信息学中主要的工具

几乎所有的与化学信息学相关的内容都可以在网站上找到

示例代码略

机器学习

//之前无背景知识,复制过来学习

机器学习按照目标可以分为分类任务(classification)和回归(regression)任务两大类。

所谓分类任务,就是模型预测的结果是离散的值,例如类别;那么,回归任务中,模型预测的结果就是连续的值,例如房价等等。

在本次竞赛中,我们需要预测的目标是反应的产率,是0-1之间的一个连续的数值,所以是一个回归任务。

//离散值通过一些处理可以近似认为是连续值

![[appendix/Pasted image 20240730103640.png]]
分类型决策树(左),回归型决策树(右)

划分每个节点的目标是让该节点中的值尽可能相同。

在分类任务中,常见的就是信息熵衡量;在回归任务中,可以使用均方误差、绝对误差等进行衡量。

![[appendix/Pasted image 20240730103557.png]]
随机森林

将多个决策树结合在一起,训练每个决策树的数据集都是随机有放回地从原数据中选出。预测的时候,输入会通过每个决策树进行预测,然后考虑每个树地输出结果,得到最终的预测值。

深度学习

深度学习可以归为机器学习的一个子集,主要通过神经网络学习数据的特征和分布。深度学习的一个重要进化是不再需要繁琐的特征工程,让神经网络自己从里面学习特征。

SMILES是一种以ASCII组成的序列,可以被理解为一种"化学语言"。既然是一种语言,那么很自然地想到了可以使用NLP中的方法对SMILES进行建模。

使用RNN对SMILES建模是早期的一个主要方法。RNN(Recurrent Neural Network)是处理序列数据的一把好手。RNN的网络每层除了会有自己的输出以外,还会输出一个隐向量到下一层。

![[appendix/Pasted image 20240730104819.png]]
RNN架构示意图

其中,每一层相当于做了一次线性变换:
h n = σ ( W h h h n − 1 + W h x x n + b n ) h_{n}=\sigma(W_{hh}h_{n-1}+W_{hx}x_{n}+b_{n}) hn=σ(Whhhn−1+Whxxn+bn)

每层的输出:
y n = S o f t m a x ( V h n + c ) y_{n}=Softmax(Vh_{n}+c) yn=Softmax(Vhn+c)

但是RNN也有缺点:如果序列太长,那么两个相距比较远的字符之间的联系需要通过多个隐藏向量。这就像人和人之间传话一样,传递的人多了,很容易导致信息的损失或者扭曲。因此,它对长序列的记忆能力较弱。

同时,RNN需要一层一层地传递,所以并行能力差,比较容易出现梯度消失或梯度爆炸问题。

在后面学习中,我们会继续学习使用Transformer这种架构,这种架构就完美解决了长序列学习能力差、难以并行、出现梯度消失或者爆炸等问题。

实践部分

课后思考

机器学习实践还是第一次

跑完不用花太多时间,太好了

最近在本地笔记本尝试玩AI,深感配置不足,最终投向阿里云的怀抱

相关推荐
CodeCraft Studio8 分钟前
CAD文件处理控件Aspose.CAD教程:使用 Python 将绘图转换为 Photoshop
python·photoshop·cad·aspose·aspose.cad
Python×CATIA工业智造2 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
千宇宙航2 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董2 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco3 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟3 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
狐凄3 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊4 小时前
Python之--基本知识
开发语言·前端·python
jndingxin5 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟5 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习