机器学习 vs. 数值天气预报,AI 如何改变现有的天气预报模式

数值天气预报是天气预报的主流方法。它通过数值积分,对地球系统的状态进行逐网格的求解,是一个演绎推理的过程。

然而,随着天气预报分辨率不断升高,预报时间逐渐延长,NWP 模式所需要的算力迅速增加,限制了其发展。另一方面,以人工智能为基础的数据驱动天气预报快速发展,在部分领域已经超越了传统方法。

现有的机器学习天气预报精度如何?人工智能又将如何改变天气预报?本文对比了几大数据驱动的机器学习天气预报模型后,对天气预报的未来发展作出了展望。

作者 | 雪菜

编辑 | 三羊

数值天气预报:450 亿偏微分方程组

数值天气预报 (NWP, Numerial Weather Prediction) 是天气预报领域的主流方法。早在 20 世纪初,Abbe 和 Bjerknes 就提出人们可以使用物理定律预测天气,以当前的天气状况为初值,进行积分便可以求解未来的天气。但彼时对气象学的研究还不够深入,计算水平也相对落后,这一设想未能实现。

1950 年,普森林顿大学首次尝试使用第一台电子计算机进行了天气后报。1954 年,在斯德哥尔摩首次实现了实时的天气预报。

在每个网格单元中求解基于物理定律的微分方程组

直到 20 世纪 70 年代,超级计算机问世,人们方能求解 Abbe 和 Bjerknes 提出的整套方程。1979 年,欧洲中期天气预报中心 (ECMWF) 编制了首份中期天气预报,开启了综合预报系统 (IFS, Integrated Forecasting System) 的篇章。

然而,Edward N.Lorenz 总结前人的经验,提出天气系统是一个混沌系统 ,会因变量的细微变化而发生巨大的改变。另一方面,人们对于气象系统的初始状态也很难完全掌握。为此,学界使用集合预报 (Ensemble Forecasting) 以最大限度降低初始参数和预测模型的不确定性,预测结果的集合即为概率预报的基础。

降水概率的集合预报示意图

随着数值模型、超级计算、数据同化和集合预测等技术的发展,数值天气预报的精度不断提高,预测时间也由 3 天、5 天逐渐提升至 7 天甚至 10 天

南、北半球 (SH, NH) 的天气预报技术随时间的演进

目前,欧洲中期天气预报中心的预报模式需要对每一水平层的 200 万个网格,以 10 分钟的步长进行 10 天的预报,每天运行 2 次。因此,他们需要在 2.5 小时内,完成约 400 亿个网格的运算,需要很高的计算成本。

高昂的计算费用阻碍了数值天气预报方法的进一步发展。如何在模型分辨率和集合规模之间找到平衡,成了限制集合预报的桎梏。

数据驱动的机器学习方法崛起

近期,数据驱动 (Data-Driven) 的机器学习 (ML, Machine Learning) 在天气预报中展现出了巨大的潜力 。2022 年以来,天气预报领域的机器学习模型取得了一系列突破,部分成果可以与欧洲中期天气预报中心的高精度预测匹敌。数据驱动的天气预报推理依赖于机器学习模型,而非综合预报系统 (IFS) 中的物理模型,其预测速度较传统方法提升了几个数量级 。此外,基于机器学习的天气预报是归纳推理的结果,而非传统的演绎推理。这种逻辑学的范式转变改变了天气预报的解释方式------这些结果是从以前的数据中学习而来的,因此更具说服力

数据集:1940 年至今 0.25° 的再分析数据

数据驱动模型的出现归功于大规模、高质量的气象学开放数据集 。现有的机器学习天气预报模型,训练于欧洲中期天气预报中心的第五代再分析数据,ERA5 再分析数据集。2016 年现版本综合预报系统 (IFS) 问世时,对 1940 年至今的天气数据进行了再分析,得到了分辨率 0.25° (30 km) 的 ERA5 数据集。

FourCastNet:与 IFS 精度相当的 DL 模型

2022 年,NVIDIA 发布了 FourCastNet,基于傅立叶预测神经网络,首次进行了分辨率为 0.25° 的深度学习天气预报

FourCastNet 架构示意图

在提升分辨率的同时,FourCastNet 在异常相关系数 (ACC, Anomaly Correlation Coefficient) 和均方根误差 (RMSE, Root Mean Squared Error) 方面也没有落后传统的数值天气预报太多。

FourCastNet 与数值天气预报的 ACC 和 RMSE 对比

以节点小时 (Node-Hour) 为单位,FourCastNet 的速度大约是传统数值天气预报模型的 45,000 倍,加上其在高分辨率下的准确性,使得超大规模的集合预报成本迅速降低。

GraphCast:基于 GNN 全球中期气象预报

GraphCast 是一种基于图神经网络 (GNN) 的神经网络,采用「编码-处理-解码」配置,共有 3,670 万个参数。

编码器通过单层 GNN 将输入网格中的变量映射到内部的多网格中。

多网格是一个空间均质的图 ,有着全球范围的高分辨率。多网格通过 6 次迭代正二十面体(包含 12 个节点,20 个面和 30 条边)形成,每次迭代会对网格进行精细化,将单个三角形划分为 4 个较小的三角形,并将其节点投影至球体上。最终多网格包含 40,962 个节点,及精细过程中所有图形的边,形成了包含不同长度的边的层级图。

处理器使用 16 个非共享的 GNN 层,在多网格上进行消息传递。解码器使用单层 GNN, 将处理器的学习特征从多网格映射回到经纬度系统中。

GraphCast 的框架

a-c:GraphCast 的输入-预测-迭代过程;

d-f:GraphCast 的编码-处理-解码配置;

g:多网格的精细化过程。

对比欧洲中期天气预报的高分辨率预报 (HRES),GraphCast 在 ACC 和 RMSE 上均更胜一筹。

GraphCast 和 HRES 的预测 RMSE (a&b) 和 ACC (c) 对比

在 32 台 Cloud TPU v4 设备上训练 3 周后,GraphCast 对 1979 年以来的 ERA5 数据进行了学习。随后, GraphCast 可以在 60 秒内在单台 Cloud TPU v4 设备上,生成分辨率 0.25° 间隔 6 小时的 10 日天气预报。

盘古:基于 ViT 的三维气象大模型

盘古气象大模型的输入输出均为三维的气象场 。由于气象场的经纬度分布不均匀,盘古气象大模型使用了三维的 Vision Transformer (ViT) 对气象数据进行处理,精度首次超过了主流的综合预报系统 (IFS)。

三维 Vision Transformer 架构

当预测时间长于 3 天时,从 RMSE 来看,盘古气象大模型和 IFS 的性能相当,均优于训练集 ERA5。

不同模型的对 T850 和 Z500 的预测性能对比

a&b:分别为不同模型预测 T850 和 Z500 时的 RMSE;

c&d:分别为不同模型预测 T850 和 Z500 时的活动强度;

e&f:分别为不同模型预测 T850 和 Z500 时的偏差。

综上所述,数据驱动的机器学习天气预报,在预测精度上与传统的数值天气预报模式接近,然而运算设备和运算速度远超数值天气预报模型,说明 AI 天气预报在实际应用中有相当的潜力。

机器学习和数值预报 = 精度 + 速度

在天气预报的内部和外部,机器学习都在以惊人的速度不断发展。欧洲中期天气预报中心一直在关注数据驱动天气预报的快速崛起,包括 NVIDIA、华为和 Deepmind。

「FourCastNet 是第一个基于 AI 的分辨率达到 0.25° 的天气预报系统,也是第一个开源的天气预报系统。我们的新版本显著提高了模型的中期性能和长期稳定性,并希望通过神经算子框架,实现超分辨率。」NVIDIA Earth-2 团队的 Anima Anandkumar 说道。

欧洲中期天气预报中心将这些机器学习模型,和稳定的数值模型一起呈现给了用户,邀请他们从应用侧对系统的操作和性能进行评估。模型的准确性、可靠性、不确定性和交互性是评估气象产品质量和有效性的关键因素。

为此,欧洲中期天气预报中心公开了 FourCastNet、PGW 和 GraphCast 基于 IFS 初始条件的预测结果。Florian Pappenberger 表示,「开放是创新、合作和探索的关键。通过共享数据、方法和结果,进行对比和分析,就能够加速科学发展,最终造福社会。

三个气象 AI 的公开数据

在欧洲中期天气预报中心的对比中,可以看到基于 AI 的天气预测,在部分性能上已经可以与数值天气预报媲美,将在未来发挥着重要作用。然而,这些模型尚没有综合预测能力,这是中长期尺度上提供有价值预测的关键。

开放获取、对比优化、便携易得,AI 正将自己的优势渗透进入传统的天气预报当中。在将天气预报从超级计算机解放出来的同时,AI 在极端气候事件上也有着不俗的表现。相信 AI 能够同数值天气预报一起,革新天气的预报方式,为农林牧渔、航海航天事业的发展贡献出自己的力量。

参考链接:

[1]journals.ametsoc.org/view/journa...

[2]cir.nii.ac.jp/crid/157366...

[3]www.nature.com/articles/na...

[4]arxiv.org/abs/2202.11...

[5]arxiv.org/abs/2212.12...

[6]phys.org/news/2023-0...

[7]arxiv.org/abs/2307.10...


相关推荐
是Dream呀1 小时前
WHAT KAN I SAY?Kolmogorov-Arnold Network (KAN)网络结构介绍及实战(文末送书)
深度学习·神经网络·kan
Crossoads3 小时前
【汇编语言】外中断(一)—— 外中断的魔法:PC机键盘如何触发计算机响应
android·开发语言·数据库·深度学习·机器学习·计算机外设·汇编语言
红色的山茶花3 小时前
YOLOv9-0.1部分代码阅读笔记-hubconf.py
笔记·深度学习·yolo
Hoper.J3 小时前
微调 BERT:实现抽取式问答
人工智能·深度学习·自然语言处理·llm·bert
G.Chenhui4 小时前
【conda】使用 conda 安装的 cuda-toolkit 时,安装的版本与指定版本不一致
深度学习·conda
不听话的好孩子4 小时前
基于深度学习(HyperLPR3框架)的中文车牌识别系统-python程序开发测试
开发语言·python·深度学习
Hz、辉5 小时前
损失函数-二分类和多分类
人工智能·深度学习·神经网络·分类·多分类
小言从不摸鱼6 小时前
【AI大模型】探索GPT模型的奥秘:引领自然语言处理的新纪元
人工智能·gpt·深度学习·语言模型·自然语言处理·transformer
sp_fyf_20246 小时前
【大语言模型】ACL2024论文-36 利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类
深度学习·神经网络·机器学习·语言模型·chatgpt·分类·数据挖掘
sp_fyf_20249 小时前
【大语言模型】ACL2024论文-35 WAV2GLOSS:从语音生成插值注解文本
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·数据挖掘