準確預測極端降水，哥倫比亞大學推出升級版神經網絡 Org-NN
加入技術交流群
論文已發表于《PNAS》
論文地址：
https://www.pnas.org/doi/10.1073/pnas.2216158120#abstract
準備工作：10 天氣象數據+ 2 個神經網絡
數據與處理
實驗團隊所用數據集是大氣模式系統 (SAM) DYAMOND (DYnamics of the Atmospheric general circulation Modeled On Non-hydrostatic Domains) 第二階段比較項目中模擬的大氣環流動力學的一部分。這個項目對比模擬了北半球冬季的 40 天，實驗人員將其中初始的 10 天作為模型的 spin-up，在后 30 天中隨機抽取了 10 天作為訓練集。
研究人員選擇了合適的數據，并將這些數據粗粒度 (coarse-grain) 劃分為子域，等同于或可與 GCM-size 的網格。
接下來，為了提供訓練、驗證和測試數據集，團隊將 10 天分為 6 天、2 天、2 天，分別用于訓練、驗證和測試，且只保留了降水大于闕值 (0.05mm/h) 的樣本，以便只專注于降水強度 (intensity) 而不是降水的起因 (trigger) 。最終，樣本總數為 108 個。
神經網絡架構
在實驗中，研究人員使用了兩個神經網絡：傳統模型 Baseline-NN（基準神經網絡）與新提出的 Org-NN。
Baseline-NN 是一個全連接前饋神經網絡 (full connected feed-forward network)，學習率按代進行調整。作為傳統模型，Baseline-NN 只能訪問大規模變量并預測降水。
Org-NN 含有一個自編碼器，其編碼器部分包括 3 個一維卷積層和兩個全連接層。編碼器的 input 是尺寸為 32 x 32 的高分辨率 PW （可降水，precipitable water）異常 (anomalie)，output 為 org 變量，org 維度是該網絡的超參數，研究人員將其設置為了 4。****接收 org 變量并對原始的高分辨率場進行重構，與編碼器的結構恰好相反。Org-NN 的神經網絡部分與 Baseline-NN 相似，只額外添加了組織潛在變量 (org) 作為其 input。
兩者都使用 TensorFlow 2.9 版本實現，并使用 Sherpa 優化庫對超參數進行了調優。
實驗結果
實驗團隊對兩個模型進行了預訓練。為了評估神經網絡的預測性能，科研人員選擇了 R2，這是一種常用于量化回歸模型性能的指標。計算公式如下：
傳統模型 Baseline-NN
實驗團隊首先使用 Baseline-NN。下圖展示當使用粗粒度的 PW、SST、qv2m 和 T2m 作為 input 時的降水可預測性。其中，qv2m 與 T2m 用于向 Baseline-NN 提供邊界層 (boundary-layer) 條件的信息。實驗團隊將粗粒度的 PW 分組，在每個組內對粗粒度降水的預測值與實際值進行平均，同時計算了落在每個分組內的粗粒度降水值方差。
PW：可降水，precipitable water；SST：海面溫度，sea surface temperature；qv2m：近地表 2m 的比濕，near-surface specific humidity；T2m：近地表 2m 空氣濕度，surface temperature。
圖 1：PW bin 上粗粒度降水平均值
虛線：真實的降水平均值；
橘線：預測的降水平均值；
綠線：每個 PW bin 中計算出的 R2；
陰影部分：每個分組內的方差。
與此同時，實驗團隊還將 Baseline-NN 所預測的降水的概率密度函數與實際降水做比較，顯示該模型無法預測降水分布的尾部 (tail) ，即無法預測極端降水的情況。
藍色部分：真實降水的概率密度函數橙色部分：根據預測所得降水的概率密度函數
研究人員還將在粗粒度上的總云量作為神經網絡的 input 之一，對 Baseline-NN 進一步測試。總云量在氣候模型中為參數化變量，與降水無直接關系，所以將其作為神經網絡的輸入可能會提供有關凝結水的線索，而凝結水會直接用于降水的參數化。這其實對預測改進的作用很小，但是強調了平均云量并不能提供準確預測降水的相關信息。此外，實驗團隊通過進一步分析，證實了 CAPE 與 CIN 不能作為預測因子，且不能改善預測結果。
圖 3: 降水概率密度函數圖
藍色部分：真實降水概率密度函數；
橘色部分：預測得出降水概率密度函數；
a：input 為 [PW、SST、qv2m、T2m、感熱通量（sensible heat flux）、潛熱通量（latent heat flux）]；b：input 為 [PW、SST、qv2m、T2m、總云量]；c：input 為 [PW、SST、qv2m、T2m、CAPE、CIN]。
結論是 Baseline-NN 在準確預測降水以及變異性方面能力較低。
實驗團隊接下來顛覆了傳統方法，即利用 Org-NN進行預測。因為 Org-NN 含有一個自編碼器，它可以直接從神經網絡的目標函數通過反向傳播接受反饋。因此，自編碼器將可以被動提取改善降水預測的相關信息。
下圖顯示了以粗粒度變量和 org 作為輸入的 Org-NN 的降水預測結果。相比于 Baseline-NN，Org-NN 的進步顯著。當在所有數據點上進行計算時，預測的 R2 增加到 0.9。對于 PW 的每一個區間，除了降水較小的區間，計算得到的 R2 值幾乎都接近 0.80。
D：PW bin 上粗粒度降水平均值；E：降水的概率密度函數示意圖；F：圖 D 中每個緯度和經度位置在時間步長上計算得出的 R2 值。圖中的白色區域表示降水小于 0.05 毫米/小時，被排除在模型的輸入之外。除未達到降水閾值的點的附近區域外，Org-NN 在大部分區域的 R2 值顯著高于 0.8。
實驗團隊比較了 Org-NN 和高分辨率降水模型的真實降水的概率密度函數，對 Org-NN 的性能進一步量化。結果發現，Org-NN 完全捕捉到了概率密度函數，包括它分布的尾部，也就是對應著極端降水的部分。這說明 Org-NN 能夠準確預測極端降水的情況。
實驗團隊所得結果表明，通過將 org 納入 input，降水預測得到了顯著的改善。這表明了，在當前的氣候模型中，亞網格尺度結構可能是對流和降水參數化缺失的重要信息。
圖 6: 實驗流程概覽A：數據處理過程：粗粒度化高分辨率數據；
B：Baseline-NN：該網絡接收粗尺度變量 (如 SST 和 PW) 作為 input，并預測粗尺度降水；C：Org-NN : 左圖顯示了自動編碼器，它接收高分辨率 PW 作為 input，并在通過瓶頸后對其進行重建。右圖顯示了預測粗尺度降水的神經網絡。
傳統氣候模型變革在即
本次實驗的團隊來自 Learning the Earth with Artificial Intelligence and Physics (LEAP)，這是哥倫比亞大學于 2021 年啟動的 NSF 科學與技術中心，其主要研究策略就是結合物理建模與機器學習，利用氣候科學、氣候模擬的專業知識與尖端的機器學習算法，改進近期氣候預測。這對氣候科學與數據科學的發展都有所增益。
LEAP 實驗室部分成員簡介實驗室官網：https://leap.columbia.edu
目前，研究人員正在將他們的機器學習方法應用于氣候模型中，以改進降水強度和變異性的預測，并使科學家能夠在全球變暖背景下，更準確地預測水循環和極端天氣模式的變化。
同時，這項研究還開辟了新的研究方向，例如探索降水具有記憶效應的可能性，即大氣保留有關最近天氣條件的信息，進而影響后續的大氣條件。這種新方法可能在降水模擬之外具有廣泛的應用，如對冰蓋和海洋表面進行更好的模擬。
參考文章：
[1] https://www.sohu.com/a/707903896_121286085
[2] https://leap.columbia.edu
[3]https://phys.org/news/2023-05-method-extreme-weather-events-accurately.html
[4] https://www.sohu.com/a/708559707_100058586
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
