【新智元导读】微软发布首个大规模大气基础模型Aurora，可被用于预测和减轻极端天气影响，模型拥有超高的准确率和效率，与如今数值预报系统界的SOTA相比，它的计算速度提高了约5000倍。
自人类有历史以来，就一直执着于预测天气，以各种方式破解「天空之语」，我们慢慢发现，草木、云层似乎都与天气有关，这不仅仅是因为人类从事生产的需要，也是人类想要对着大风歌唱、在月光下吟诗的需要。
《冰与火之歌》中的风雨歌师，就是通过歌声和吟唱来预测天气和风暴，人们还会幻想拥有「改变天气」的超能力。
后来，有了气象专家和天气预报，可我们始终还是不能脱离具身体验和物理世界，但现在，AI让情况起了变化。微软发布首个大规模大气基础模型Aurora，能够从数据中学习并做出预测，展现出了惊人的准确率和效率。世界顶尖的数值天气预报组织——欧洲中期天气预报中心维护的一个极其丰富的数据集，给AI天气预报提供了强有力的数据支撑。在未来，或许无需物理学，一台计算机就可以捕捉全球的「风云变幻」。影响不止于此，如果我们已经可以用AI预测全球天气，「建模」地球还会远吗？
全球极端天气事件频发，在突如其来的风暴面前，人类显得尤为渺小。总是让人措手不及的极端天气，暴露了当前天气预报模型的局限性，并凸显了在气候变化面前进行更准确预报的必要性。一个紧迫的问题出现了：我们如何才能更好地预测此类极端天气事件并做好准备？Charlton Perez等人最近的一项研究强调，即使是最先进的人工智能天气预测模型，在捕捉风暴的快速增强和峰值风速方面也面临挑战。为了帮助应对这些挑战，微软的一个研究团队开发了Aurora，Aurora意为「极光」，这是一个尖端的人工智能基础模型，可以从大量的大气数据中提取有价值的见解。
论文地址：https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/Aurora提供了一种新的天气预报方法，可以改变我们预测和减轻极端事件影响的能力。灵活的3D大气基础模型
在预训练时，Aurora会进行优化，以便在具有不同分辨率、变量和压力水平的多个异构数据集上最大限度地减少损失。分两个阶段对模型进行微调：(1) 短时间内对预训练的权重进行微调；(2) 使用低秩自适应性（LoRA）进行长前置时间（rollout）微调。微调后的模型将用于处理不同分辨率的各种业务预报情况
虽然参数量只有1.3B，但Aurora在超过一百万小时的各种天气和气候模拟中进行了训练，这使它能够全面了解大气动力学。因此，即使在数据稀缺地区或极端天气情况下，该模型也能出色地完成各种预测任务。通过在0.1°（赤道约 11 公里）的高空间分辨率下运行，Aurora能够捕捉大气过程的复杂细节，提供比以往任何时候都更加准确的业务预报，而计算成本仅为传统数值天气预报系统的一小部分。据研究人员估计，与数值预报系统界的SOTA——综合预报系统（Integrated Forecasting System，IFS）相比，Aurora的计算速度提高了约5000倍。除了令人惊叹的准确性和效率之外，Aurora还以其多功能性而脱颖而出。该模型可以预测广泛的大气变量，从温度、风速到空气污染水平和温室气体浓度。Aurora的架构设计可处理异构黄金标准输入，并生成不同分辨率和保真度级别的预测。该模型由一个灵活的3D Swin Transformer和基于Perceiver的编码器和解码器组成，能够处理和预测一系列跨空间和压力级别的大气变量。通过对大量不同数据的预训练和对特定任务的微调，Aurora学会了捕捉大气中错综复杂的模式和结构，使其在针对特定任务进行微调时，即使训练数据有限也能表现出色。快速预测大气化学和空气污染
Aurora在许多目标上都优于运行中的CAMS：(a) 与CAMS分析相比，Aurora预测的二氧化氮柱总量样本；(b) Aurora相对于CAMS 的纬度加权均方根误差（RMSE），负值（蓝色）表示 Aurora 更好
由于大气化学、天气模式和人类活动之间复杂的相互作用，以及哥白尼大气监测服务（CAMS）数据的高度异构性，这是一项众所周知的艰巨任务。Aurora利用其灵活的编码器-解码器架构和关注机制，有效地处理和学习这些具有挑战性的数据，捕捉空气污染物的独特特征及其与气象变量的关系。这使得Aurora能够以0.4°的空间分辨率生成精确的五天全球空气污染预报，在74%的所有目标上都优于最先进的大气化学模拟，证明了它在解决各种环境预报问题方面的卓越适应性和潜力，即使在数据稀少或高度复杂的情况下也是如此。数据多样性和模型缩放改善了大气预报
研究还发现，与在单一数据集上进行的训练相比，在不同数据集上进行的预训练能显著提高Aurora的性能。通过整合气候模拟、再分析产品和业务预测的数据，Aurora可以学习到更强大、更通用的大气动力学表征。正是由于其规模和多样化的预训练数据集，Aurora能够在各种任务和分辨率下超越最先进的数值天气预报模型和专门的深度学习方法。
在不同数据上进行预训练并扩大模型规模可提高性能，模型大小每增加一倍，训练损失就会减少5%
Aurora规模化直接带来的是，无论是在架构设计和训练数据语料库，还是预训练和微调协议方面，其性能都优于最好的专业深度学习模型。为了进一步验证在多个数据集上预训练大型模型进行微调的收益，微软团队将Aurora与GraphCast进行了比较，后者仅在ERA5上进行了预训练，目前被认为是分辨率为0.25度、预测时间长达五天的最熟练的人工智能模型。此外，研究人员还将IFS HRES（数值天气预报的黄金标准）也纳入了比较范围。结果表明，在与分析、气象站观测和极端值进行比较时，Aurora 的表现都要优于GraphCast和IFS HRES。
在绝大多数目标上，Aurora的性能都优于GraphCast
地球系统建模的范式转变
通过展示基础模型在地球科学中的力量，这项研究为开发涵盖整个地球系统的综合模型铺平了道路。基础模型能够在数据稀缺的情况下出色地完成下游任务，这将使数据稀缺地区（如发展中国家和极地地区）获取准确天气和气候信息的途径更加民主化。这将对农业、交通、能源采集和备灾等部门产生深远影响，使社区能够更好地适应气候变化带来的挑战。
变化来得太快，就像龙卷风，天气预报界正在经历重大变革。最终的目标是革命性的：运用基于AI的新方法，在桌面计算机上就可以运行天气预报！在过去的18个月里，天气预报成为了一个最有前途的AI应用，最近的进展在气象学界引起了巨大反响。欧洲中期天气预报中心（ECMWF），世界顶尖的数值天气预报组织，维护着一套关于大气、陆地和海洋天气的数据集，每天在全球各地每隔几个小时记录一次，数据可以追溯到1940年。特别是过去50年的数据，在全球卫星覆盖之后，尤其丰富。这个数据集被称为ERA5，并且是公开可用的。ERA5并非专门为人工智能应用而创建，但ERA5却为人工智能天气应用的发展发挥了巨大作用。计算机科学家直到2022年才真正开始认真使用这些数据来训练人工智能模型，以预测天气。从那时起，这项技术取得了突飞猛进的发展。在某些情况下，这些模型的输出结果已经优于科学家们花费数十年时间设计和建立的全球天气模型，而且运行那些模型还需要一些世界上最强大的超级计算机。欧洲气象中心ECMWF人工智能预报工作负责人Matthew Chantry在接受采访时表示，「很明显，机器学习是未来天气预报的重要组成部分。」
ECMWF正在招聘人才来开发基于机器学习的地球系统模拟
AI天气预报的起源
大约6年前，一些使用基于神经网络的深度学习技术进行天气预报的早期学术研究就开始了。起初，计算机科学家们对这一方法是否奏效并不十分乐观，因为它与几十年来发展起来的天气预报科学大相径庭。时间来到2022年，人们才稍微放下了对AI模型的怀疑。先是物理学家和数据科学家Ryan Keisler，利用「图神经网络」展示了一些初步的成果。
论文地址：https://arxiv.org/abs/2202.07575随后，中国科学家提出的「Pangu-Weather」模型，直接登上了Nature。结果显示，它在某些情况下甚至超过了当今最强的基于物理的模型——ECMWF。
论文地址：https://www.nature.com/articles/s41586-023-06185-3这在使用深度学习技术和天气建模的科学家社区中引起了震动。很快，欧洲科学家开始基于其他深度学习模型的研究成果制作一个操作模型，这并没有花费太长时间。到去年年底，新的人工智能综合预报系统（AIFS）已经产生了「非常有希望」的结果。今年春天，欧洲预报员开始发布实时预报。目前，基于物理的天气模型依然不可或缺。它们是非常强大的工具，显著提高了我们对重大事件进行五天、七天甚至偶尔十天天气预报的能力，受到全球预报员的信赖。但未来会是什么样子呢？可能在十年之后，AI将会掌管天气领域的一切。https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/https://arstechnica.com/ai/2024/06/as-a-potentially-historic-hurricane-season-looms-can-ai-forecast-models-help/
