在材料设计中,了解其电子结构与性质是预测材料性能、发现新材料、优化材料性能的关键。过去,业界广泛使用密度泛函理论 (DFT) 来研究材料电子结构和性质,其实质是将电子密度作为分子(原子)基态中所有信息的载体, 而不是单个电子的波函数,从而将多电子体系转化为单电子问题进行求解,既简化了计算过程,又可以确保计算精度,能更准确地反映孔径分布。
然而,DFT 的计算成本极高,通常只能用于研究小尺寸的材料系统。受到材料基因组倡议的启发,科学家们开始尝试利用 DFT 构建庞大的材料数据库,虽然目前只收集到了有限的数据集,但这已经是一个了不起的开始。以此为开端,随着 AI 技术带来的全新变革,研究人员开始思考,「将深度学习与 DFT 进行结合,让神经网络深入学习 DFT 的精髓,能否带来一场革命性突破?」
这正是深度学习密度泛函理论哈密顿量 (DeepH) 方法的核心。通过将 DFT 的复杂性封装在一个神经网络中,DeepH 不仅能够以前所未有的速度和效率进行计算,而且随着训练数据的增加,其智能也在不断提升。 近日,来自清华大学物理系的徐勇、段文晖研究组成功利用其原创的 DeepH 方法,发展出 DeepH 通用材料模型,并展示了一种构建「材料大模型」的可行方案,这一突破性进展为创新材料发现提供了新机遇。
相关研究以「Universal materials model of deep-learning density functional theory Hamiltonian」为题,已发表于 Science Bulletin。
![](https://i-blog.csdnimg.cn/direct/041f8aaff11a4d2589a565a386097e6b.png)
论文地址:
https://doi.org/10.1016/j.scib.2024.06.011
开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:
https://github.com/hyperai/awesome-ai4s
通过 AiiDA 构建大型材料数据库,针对性排除磁性材料干扰
为了证明 DeepH 通用材料模型的普适性,该研究通过自动交互式基础设施和数据库 (AiiDA) 构建了一个包含 104 种固体材料的大型材料数据库。
为了展示多样化的元素组成,该研究还选择了元素周期表的前四行,从而排除掉了从 Sc 到 Ni 的过渡元素,以避免磁性材料干扰,并排除了稀有气体元素。候选材料结构则来源于 Materials Project 的数据库。除了基于元素类型进行过滤之外,候选材料在材料项目中被进一步细化为只包括那些标有「非磁性」的材料。为简单起见,在晶胞中包含超过 150 个原子的结构被排除在外。
![](https://i-blog.csdnimg.cn/direct/9f011d1e67554d6b8acbb7f4c5f930c1.png)
![](https://i-blog.csdnimg.cn/direct/c34fd5d6aa1b421c9fc065c901a70d7d.png)
通用数据集的每个结构中原子和元素数量的分布
作为这些过滤标准的结果,最终的材料数据集由总共 12,062 个结构组成。在训练过程中,数据集按 6:2:2 的比例划分为训练集、验证集和测试集。接下来,该研究利用 AiiDA(自动化交互式基础设施和数据库)的框架开发了一个高通量的工作流程来进行密度泛函理论计算,并用它来构建材料数据库。
以 DFT 哈密顿量为目标,用 DeepH-2 方法训练 DeepH
研究认为,DFT 哈密顿量 (DFT Hamiltonian) 是理想的机器学习目标。
![](https://i-blog.csdnimg.cn/direct/a7652cdf46434c7a98bdbeae8e902a99.png)
开发能够描述材料结构-性质关系的大型材料模型的可行途径
首先,DFT 哈密顿量是可以直接从总能量 (total energy)、电荷密度 (charge density)、能带结构 (band structure)、物理响应 (physical responses) 等物理量中导出的基本量, DeepH 通用材料模型则可以接受任意材料结构作为输入,并生成相应的 DFT 哈密顿量,从而可以直接推导各种材料特性,如上图所示。
![](https://i-blog.csdnimg.cn/direct/2b3584a980ae4c459709b7a055ae9c39.png)
DeepH 根据局部结构信息分别学习和预测 DFT 哈密顿矩阵块的工作原理
其次,在局域原子基组下,DFT 哈密顿量可以表示为稀疏矩阵,其矩阵元由局部化学环境决定。 在等变神经网络 (Equivariant neural networks) 中,DeepH 利用不同角量子数 l 标记的输出特征来表示 DFT 哈密顿量,如上图所示。因此,人们可以根据临近结构信息来建模原子对之间的哈密顿量矩阵元,而不需要对整个材料结构的 DFT 哈密顿量矩阵进行建模。这不仅大大简化了深度学习任务,而且极大地增加了训练数据量。在推理方面,一旦深度学习网络学习到足够多的训练数据,经过训练的模型就可以很好地推广到更多未被见过的新材料结构。
DeepH 的关键思想是利用神经网络来表示 HDFT。 通过改变输入的物质结构,首先创建的是由 DFT 代码生成的 HDFT 训练数据,然后将这些数据用于训练神经网络。这些经过训练的网络模型随后再被用来对新的物质结构进行推理。
在这个过程中,存在两个非常重要的先验知识------其一是局部性原则, 该研究在局域原子样本中表示 DFT 哈密顿量,并将哈密顿量分解为描述原子间耦合或原子内耦合的块。因此,单个训练材料结构可能对应于大量数据的哈密顿量块。此外,每个哈密顿量块可以根据局部结构的信息而不是整个结构来确定。这种简化确保了 DeepH 模型的高精度和可转移性。
其二是对称性原理, 当从不同的坐标系观察时,物理定律保持不变。因此,相应的物理量和方程在坐标变换下表现出等价性。保持等价性不仅提高了数据效率,而且增强了泛化能力,这可以显著提高 DeepH 的性能。第一代 DeepH 架构通过局部坐标系简化了等价问题,并通过局部坐标的变换恢复了等价特征。第二代 DeepH 架构基于等价神经网络,名为 DeepH-E3。在此框架中,所有输入、隐藏和输出层的特征向量都是等价矢量。最近,这项工作的作者之一提出了深度学习的新一代架构 DeepH-2。在效率和准确性方面,DeepH-2 表现最优。
综上,该研究的深度学习模型 DeepH 使用 DeepH-2 方法训练,共包含 1,728 万个参数,基于 3 个等价变换块组成了可用于消息传递的神经网络,每个节点和边缘携带 80 个等价特征。 材料结构的嵌入包含原子序数和原子间距离,采用高斯平滑策略,基函数的中心范围从 0.0 一直到 9.0Å。神经网络的输出特征则通过线性层传递,然后通过 Wigner-Eckart 层构建 DFT 哈密顿量。
该研究在 NVIDIA A100 GPU 上进行训练,共进行了 343 个时期,耗时 207 小时。在整个训练过程中,batch 大小固定为 1,这意味着每个 batch 包含一个材料结构。最后,初始学习率为 4×10-4,衰减速率为 0.5,衰减耐心为 20,最小选择的学习率为 1×10-5,并在学习率达到此值时停止训练。
DeepH 推理性能优异,可提供准确的能带结构预测
在训练、验证和测试集上,模型预测的密度泛函理论哈密顿量矩阵元的平均绝对误差 (MAE) 分别达到 1.45、2.35 和 2.20 meV,这表明该模型具有对未曾见过的结构进行推理的能力。
![](https://i-blog.csdnimg.cn/direct/8563b8acd37d4ff090f546e14e6d91a7.png)
通用材料模型性能评估
在利用 104 种固体材料的大型材料数据库对 Deep-2 方法训练的通用材料模型进行性能评估时,在数据集的所有结构中,大约 80% 的材料结构具有小于平均值 (2.2 meV) 的平均绝对误差。只有 34 个结构(约占测试集的 1.4%)的平均绝对误差超过 10meV,说明该模型对主流结构有良好预测精度。
通过进一步分析数据集,模型在材料结构上的性能偏差可能是由于数据集分布偏差造成的。研究发现,数据集中包含的元素对的训练结构越多,相应的平均绝对误差就越小。这一现象可能表明深度学习通用材料模型存在「缩放法则」,即更大的训练数据集或许会提高模型性能。
![](https://i-blog.csdnimg.cn/direct/e5b13711176948f8a4c3ae0efee28837.png)
DFT 计算和 DeepH 预测的结果比较
为了评估 DeepH 通用材料模型预测材料性质的准确性,该研究在计算示例时,分别使用了基于密度泛函理论 (DFT) 计算和 DeepH 预测的 DFT 哈密顿量,然后将这两种方法得到的计算结果进行了比较。结果表明,DeepH 预测的结果与 DFT 计算的结果非常接近,证明了 DeepH 在计算材料性质方面的出色预测精度。
![](https://i-blog.csdnimg.cn/direct/d7253c84f97f4d388faa26bcf741806c.png)
用于研究特定材料的微调通用材料模型
在具体的应用中,该研究用微调通用材料模型对碳同素异形体进行了研究。其中,碳材料数据集来源于萨马拉碳同素异形体数据库 (SACADA),共包含 427 种具有不同原子结构的碳同素异形体。
研究人员基于此对通用材料模型进行微调,创建了一个专门针对碳材料的改进型 DeepH 模型。与无预训练模型相比,微调可以将预测 DFT 哈密顿量的平均绝对误差显著降低至 0.54 meV,还可以在少于 50% 的训练结构中实现可比较的预测精度。
此外,微调还显著改善了训练收敛,并减少了训练时间。可以说,微调有助于提高预测准确性并增强训练效率。更重要的是,微调后的 DeepH 模型在预测材料性质方面表现出了显著的优势,经过微调的模型几乎可以为所有测试结构提供准确的能带结构预测。
材料大模型风起云涌, AI4S 任重道远
以 ChatGPT 为时间起点,AI 正式进入了一个全新的「大模型时代」。这个时代的特点是利用庞大的数据集和先进的算法,训练出能够处理复杂任务的深度学习模型。在材料科学领域,这些大模型正与研究者们的智慧相结合,开启了一个前所未有的研究新纪元。 这些大模型不仅能够处理和分析海量的科学数据,还能够预测材料的性质和行为,从而加速新材料的发现和开发,推动着这一领域向更高效、更精准的方向发展。
在过去的一段时间,AI for Science 正在与材料科学不断碰撞出新的火花。
立足国内, 北京凝聚态物理国家研究中心 SF10 组、中科院物理研究所、中科院计算机网络信息中心共同合作,将数万个化学合成路径数据投喂给大模型 LLAMA2-7b,从而获得了 MatChat 模型,可用来预测无机材料的合成路径;电子科技大学联合复旦大学、中国科学院宁波材料技术与工程研究所,成功开发出「耐疲劳铁电材料」,在全球范围内率先攻克困扰领域内 70 多年的铁电材料疲劳问题;上海交通大学 AIMS-Lab 实验室开发出了新一代材料智能设计模型 Alpha Mat.......研究成果频出,材料创新和发现进入新时代。
放眼全球, Google 旗下的 DeepMind 开发了用于材料科学的人工智能强化学习模型 GNoME,寻找到了 38 万余个热力学稳定的晶体材料,相当于「为人类增加了 800 年的智力积累」,极大加快了发现新材料的研究速度;微软发布的材料科学领域人工智能生成模型 MatterGen,可根据所需要的材料性质按需预测新材料结构;Meta AI 与美国高校合作,开发了行业顶级的催化材料数据集 Open Catalyst Project,以及有机金属框架吸附数据集 OpenDAC......科技巨头凭借自家的技术,将材料科学领域搅动的风起云涌。
虽然与传统材料研发方式相比,人工智能为探索更广泛的材料可能性打开了大门,显著减少了与材料发现相关的时间与费用。但是,AI for Science 在材料领域还面临着可信度和有效实施的挑战,确保数据质量、识别和减轻用于训练 AI 系统的数据潜在偏差等一系列问题有待解决。这或许也意味着,要想让人工智能在材料科学领域发挥更大的作用,仍然前路漫漫。