这篇文章最初发表在 NVIDIA 技术博客上。
AI 及其最新子域，生成式人工智能正在显著加快科学计算研究。从药物和材料科学到天文学，这项改变游戏规则的技术正在开辟新的可能性，并以前所未有的速度推动进步。
在这篇文章中，我们探讨了生成人工智能在科学中的一些新的、令人兴奋的应用，包括 GPT-3 对2022 ACM Gordon Bell 特别奖关于严重急性呼吸系统综合征冠状病毒 2 型进化动力学的工作。
我们还研究了用于控制聚变等离子体反应的经过训练的替代模型，在Large Hadron Collider和气候建模的进展Earth-2和Destination Earth（命运）。这些研究模型正在演变，变得更像transformer 模型。
基因组研究 LLM
2022 年戈登·贝尔特别奖表彰了来自顶尖机构的一组研究人员，他们在建模导致大流行的病毒进化方面所做的开创性工作。利用基因组数据，他们开发了大语言模型（ LLM ）称为基因组规模语言模型（ GenSLM ）。这些模型在超过 110M 个原核基因序列上进行了预训练，并在 1 . 5M 个严重急性呼吸系统综合征冠状病毒 2 型基因组上进行了微调。
GenSLM 代表了第一个全基因组规模的基础模型之一，并在北极星和赛琳娜超级计算系统上展示了令人印象深刻的规模。
图 1 。 2022 年关于严重急性呼吸系统综合征冠状病毒 2 型的最初基因序列 LLM 项目的工作流程
图 1 显示了从在 110M PATRIC 序列上训练的基础模型开始的工作流程。然后对严重急性呼吸系统综合征冠状病毒 2 型 ORF 进行微调。经过训练的基础模型可能有两条路径：
- A .预测工作流程 它使用扩散模型来获得基因组织的层次结构并生成严重急性呼吸系统综合征冠状病毒 2 型基因组。这是生成式 AI 。输出可以发送到 OPENFOLD 。
- A .检测工作流程 生成语义相似度评分（嵌入），该评分着眼于免疫逃逸并识别关注度评分的变异毒株。似然性得分的序列日志用于进行适应度评估，并创建关注度得分的变体（关键输出）。
OPENFOLD 模型用于检查表位改变，该改变为免疫逃逸分析步骤提供了依据。 OPENFOLD 还通过分子动力学模拟提供 PPI 相互作用，为适应度评估分析提供信息。
LLM 与基因组学和蛋白质组学有着天然的亲和力，因为它们是简单意义上的字母或语言。就像在语言中一样，远离序列的字母的上下文可能具有意义。
这种理解上下文的能力使 LLM 有助于模拟基因组不同部分基因之间的相互作用。这种相互作用被称为上位性， transformer 模型有助于理解序列的多个部分如何在 3D 空间中相互作用以支持折叠。
最初的 GenSLM 工作流程正在使用 GPT-3 和强化学习进行扩展和更新，取得了良好的初步结果，并正在 Perlmutter 超级计算机上进行大规模训练。
图 2 :使用 GPT-3 和强化学习的工作流程
在图 2 中，种子模型，一个预训练的 LLM ，用于生成策略模块，其中包含模型（ policy ）和参考模型（ reference policy ）。策略模块进入序列生成、奖励步骤，然后是参考学习损失步骤。奖励模型（序列、结构、函数）也输入到奖励步骤中。反向传播反馈到策略模块中。在 110M PATRIC 序列上训练的基础模型用于微调蛋白质靶点上的模型，从而创建训练过的基础模型。
许多代理处理强化学习策略以输入多目标损失函数：
- 代理 1 ：使用进化耦合分析来评估序列。
- 试剂 2 ：通过实验观察评估序列、结构和动力学。
- 代理 k ：通过分子动力学模拟评估序列、结构和能量学。
输入到多功能损失函数中的奖励的结果通知奖励模型。
使用扩散模型，使用 AlphaFold 处理的合成序列似乎折叠成所需的野生型结构。 AlphaFold 是 DeepMind 创建的一个人工智能系统，可以根据蛋白质的氨基酸序列预测蛋白质的 3D 结构。
图 3 。生成的变体在进化上接近 BQ . 1
现在，您可以生成具有不同程度序列同一性和正匹配的新序列。你也可以生成具有功能结构域的最小序列，并可以作为生产酶发挥作用。随后将进行体外表达和酶促验证。
预计阿贡国家实验室的研究团队明年将把他们的工作流程升级为 GPT-4 。由于人工智能在科学计算中的作用，科学的变化速度是前所未有的。仅在 3 年前使用的模型现在已经过时，如果当前模型在未来 3 年内过时也就不足为奇了。这种快速的进步正在推动科学研究的进步并开辟新的可能性。
用于融合仿真的深度学习
在环形等离子体的实验中，掌握等离子体不稳定性的准确信息可以帮助成功地控制等离子体。
例如，等离子体中主要破坏的一个常见原因是新古典撕裂模式（ NTM ）。这些干扰可能会对实验装置造成损坏。通过识别和控制可以激发 NTM 的等离子体扰动，可以防止这些破坏。
ITER 项目
这个ITER 项目是一项国际努力，旨在建造一个能够产生无限无碳能源的聚变反应堆。 ITER 的运行和等离子体控制系统的设计依赖于从较小的实验设备中推断信息。
通过使用基于第一性原理的模拟研究等离子体的不稳定性，有可能提高我们对 ITER 等未来聚变装置中动力学和输运的理解和预测。然而，这些模拟的计算成本可能很高，运行时间也很长，因此很难在实时实验中使用。
DIII-D 国家聚变设施
机器学习模型已被用于预测等离子体控制系统中的等离子体行为。最近，基于深度学习的模型在预测干扰和扰动磁信号方面显示出了有希望的结果。研究人员DIII-D National Fusion Facility美国最大的磁聚变研究实验通用原子公司开发了一个基于深度学习的替代模型，利用全球回旋动力学环形代码模拟的数据模拟等离子体的不稳定性。
该模型已经证明了对线性扭结模式不稳定性特性的强大预测能力，并可以提供基于物理的不稳定性信息，以补充实验测量并指导等离子体控制系统。该模型的推理时间约为毫秒，适用于实时等离子体控制系统。这种方法显示了在聚变实验中使用机器学习来模拟和预测等离子体不稳定性的潜力。
回旋动力学环形码的 S GTC 替代模
回旋动力学超环面代码的 S GTC 替代模型（ S GTC ）改变了游戏规则，将模拟时间减少了至少六个数量级。有史以来第一次，有可能将基于第一性原理的大规模并行模拟中基于物理的不稳定性信息引入现代托卡马克的等离子体控制系统。 DIII-D 聚变实验的初始替代模型和"控制预测"包含在NVIDIA Omniverse以创建聚变反应堆工作流程的数字孪生。
视频 1 。用于 DIII-D 聚变实验的聚变数字孪生工作流程
图 4 。用于 DIII-D 聚变实验的聚变数字孪生工作流程
正在评估 S GTC 模型，以从神经网络演变为基于 transformer 的模型。
核物理的生成模
详细的探测器模拟是粒子和核物理的重要组成部分。模拟用于将预测与数据进行比较，并设计未来的实验。这些模拟中使用最广泛的程序是GEANT.
然而，通过这些模拟实现精度需要大量的计算时间，因为粒子必须通过材料传播，从而导致许多二次粒子发生相互作用。
热量计是最难模拟的探测器，因为它们的工作是阻止粒子并测量它们沉积的能量。High energy physics（ HEP ）是一个物理学领域，探索自然的基本组成部分，以及它们如何在最小和最大的尺度上相互作用。在 HEP 中，所有计算资源中有一小部分用于使用 GEANT 进行这些模拟。
然而，由于计算预算的限制，不可能对大型强子对撞机的所有事件进行完整的模拟。因此，已经开发了快速模拟方法，该方法使用调整为完全模拟的更简单的模型。这些模型的参数较少，更容易优化和验证，但精度较低。
深度学习提供了一种互补的方法，使用灵活的神经网络将随机数转换为结构化数据。
不同类型的深度生成模型用于模拟量热计淋浴和其他粒子探测器。每种方法都有其优点和缺点：
- 甘斯是快速和灵活的，但是优化可能具有挑战性并且可能遭受模式崩溃。
- 可变自动编码器（ VAE ）可以学习输入数据的平滑潜在状态表示，但与标准自动编码器相比，训练起来可能更复杂且计算成本更高。
- 规范化流程（ NFs ）往往对模式崩溃具有鲁棒性，并且具有凸损失函数，但难以扩展到更高维的数据集。
一类新的深度生成算法称为SCORE-based generative models利用单个生成器网络最小化凸损失函数，并在训练后提供对完整数据可能性的访问。这些模型在其网络架构中具有更大的灵活性，并且可以引入瓶颈层，这可以减少可训练参数的数量并提高可扩展性。
用于气候建模的 HPC 和 AI
制定有效的战略来缓解和适应气候变化的影响，取决于我们能否创建准确的气候模型，准确预测长期内的区域气候趋势。超高分辨率气候建模需要比目前高出数百万到数十亿倍的计算能力，可以提前几十年模拟云层形成和区域极端天气事件预测。
通过利用 GPU 的能力------加速计算、深度学习、基于物理的神经网络、人工智能超级计算机和海量数据集，我们可以实现计算速度的百万倍加速。此外，超分辨率技术使我们更接近超高分辨率气候建模所需的十亿倍飞跃。
这些进步使早期预警成为可能，帮助国家、城市和城镇适应和加强其基础设施。预测准确性的提高将激励人民和国家采取更紧急的行动。
DestinE 与 Earth-2
2020 年，欧盟委员会推出了 DestinE ，这是一项旗舰计划，旨在开发一个高度准确的全球地球数字模型。该模型将监测、模拟和预测自然现象和人类活动之间的相互作用。
2021 年， NVIDIA 宣布了致力于气候变化预测的地球 2 号倡议。 E-2 将在 NVIDIA Omniverse 内生成地球的数字孪生，使用用于科学计算的加速数字孪生平台。这个 3D 虚拟世界模拟平台包括NVIDIA Modulus开发物理知情神经网络模型的框架和FourCastNet基于全球数据驱动的深度学习天气预报模型。
地球 2 号将与国际气候科学倡议合作。在GTC 2023，瑞士国家超级计算中心（ CSCS ）主任 Thomas Schulthes 强调，天气和气候是Alps， CSCS 的下一代系统。
Alps，曾介绍过NVIDIA Grace Hopper 超级芯片, 似乎准备参与 DestinE。欧洲中期天气预报中心（ ECMWF ） DestinE 主任 Peter Bauer 提到"Swiss component" of DestinE at GTC.
FourCastNet
图 5 。 FourCastNet 多层 transformer 架构
FourCastNet 物理 ML 模型包含傅立叶神经算子和变换器，并根据 10 TB 的地球系统数据进行训练。它可以模拟和预测极端天气事件，如飓风和大气河流，精度提高了 50000 倍。有了人工智能超分辨率，这使我们更接近超高分辨率气候建模的目标。这一突破标志着朝着创建地球 2 号迈出了重要一步。
FourCastNet 为科学和社会提供了许多基本好处，包括高分辨率、高保真度的风和降水预报。尽管在不到一年的时间内发展起来，并且变量和垂直水平比 ECMWF 少Integrated Forecasting System（ IFS ），一种最先进的数值天气预测（ NWP ）模型， FourCastNet 的准确性可以与 IFS 模型相媲美，并且在短时间尺度上优于最先进的深度学习天气预测模型。
FourCastNet 的预测比传统的 NWP 模型快 4-5 个数量级。这有两个关键的含义：在几秒钟内生成数千名成员的大型集合，以改进概率天气预报，以及快速测试关于天气变化机制及其可预测性的假设。
FourCastNet 提供了巨大的社会效益，能够迅速做出减灾反应。基于深度学习的模型在输入来自各种模型或观测来源的预测变量方面提供了灵活性。
气候界面临的一个紧迫挑战是预测极端天气事件在气候变化下将如何变化，例如其频率、强度和时空特征。在 FourCastNet 在极端气候下实现高保真度后，它可以应对这一巨大挑战。
人工智能驱动的科学计算加速
科学计算研究、研究人员和管理高性能计算和超级计算基础设施正面临着由生成人工智能技术带来的前所未有的积极变化。
通过与科学界和行业领袖的共同设计， NVIDIA 能够提供灵活性来加速本文中提到的工作流程。最新一代 GPU 加速的新型人工智能模NVIDIA Ampere，NVIDIA Ada Lovelace和NVIDIA Hopper体系结构和NVIDIA Grace Hopper Superchip-- 所有这些都利用了 HPC 、 AI 和数字孪生的全栈平台。通过拥抱和利用深度学习和 HPC 的力量，研究人员可以利用这些技术的能力来应对当今科学计算中一些最紧迫的挑战。