3 月 23 日，在機器之心 AI 科技年會上，上海交通大學自然科學研究院和數學科學學院副教授、上海人工智能實驗室成員王宇光老師發表了主題演講《幾何深度學習和圖神經網絡的研究進展和趨勢》。

演講視頻地址（點擊「閱讀原文」也可觀看）：https://www.bilibili.com/video/BV1Yr4y1q7c1?spm_id_from=333.999.0.0

以下為王宇光在機器之心 AI 科技年會上的演講內容，機器之心進行了不改變原意的編輯、整理：

大家下午好，我是上海交大自然科學研究院的王宇光。今天主要給大家介紹一下幾何深度學習和圖神經網絡的研究進展，以及未來的技術趨勢。

我們知道幾何深度學習是用于處理不同對象的深度神經網絡，其結構和傳統 CNN 相似，只是處理的對象發生了變化。

傳統 CNN 處理的可能是圖片數據，在數學上是由格點像素值組成的平面 2D 數據，如果有多個 channel 則可能是張量數據，但往往不考慮像素之間的相互關系，不考慮各個格點之間的相互連接。而幾何深度學習的重要數據對象是圖結構數據或者更廣義的 3D 點云數據等，結構數據區別于原始圖片數據的一個重要特點是不僅有節點（節點對應原來圖片的像素），還有節點之間的相互連接。以經典的圖結構——分子數據結構為例，分子由原子構成，原子可以看作圖的節點，原子之間的化學鍵可以看作圖中邊的權值，這就構成了圖結構數據。這種數據結構廣泛存在于應用中，圖結構數據比圖片數據多考慮了節點之間的連接。

對于圖分類問題或回歸問題，各個樣本的尺寸和結構可能是不盡相同的，這就導致傳統 CNN 方法不適用于新型圖結構數據的學習、預測任務。

幾何深度學習實際上是這幾年才發展起來的，特別是從 2021 年開始大家才廣泛關注幾何深度學習和圖神經網絡，因為 2021 年 AlphaFold 實現了對蛋白質結構的準確預測，準確率可以達到 95% 以上。這樣高精度而且非常快速的預測工具，是基于一些幾何深度學習的模塊。這項工作被 Science 評為 2021 年十大科學進展之最。圖神經網絡廣泛應用于其他領域，例如它對一些數學定理的證明或發現起到了很好的作用，特別是去年發表在 Nature 上的一個用 GNN 輔助科學證明的算法，由 DeepMind 與幾位科學家合作完成，引起了數學圈很大的轟動。

深度學習理論，特別是關于幾何深度學習和圖神經網絡的理論，和傳統深度學習理論比較類似，研究重點主要包括以下幾個方面：

深度學習的表達能力，涉及到很多的數學理論，當然也可能涉及一些物理的解釋；

例如，學習理論、調和分析、統計學對于研究深度學習的泛化能力非常重要；

深度學習主要依賴于反向傳播算法，所以最優化理論也是一個重要的研究工具；

一些特別有效的算法的設計基本原理，也依賴于諸多數學理論。

圖神經網絡是幾何深度學習的一部分，研究具有結構屬性、拓撲性質的數據的學習和預測任務。圖神經網絡的每一個特征提取層都會對節點的特征和連接的特征進行更新，這種更新模式被叫作消息傳遞模式。

消息傳遞模式指的是要更新某一個點的特征，需要考慮周邊和它相連的點的特征，這里就要用到推進函數。推進函數通常是由一個網絡對節點和周邊節點關系的刻畫。然后用另一個網絡整合周邊節點信息，接著加和到這個節點本身的特征中，這兩步更新模式就構成了一個基本的消息傳遞模式。

圖神經網絡特征提取模塊可以寫成圖卷積的模式，與傳統的 CNN 卷積類似，只不過在圖上定義卷積不如 CNN 直觀，不能用空間域窗口的方式平移得到，但是可以仿照傅里葉卷積的模式，定義圖卷積的模塊。這種卷積被證明和傳統 CNN 具有相似的特征提取功能，共享了參數，并保持了重要的圖結構性質，從而在圖神經網絡的學習中起到了很好的特征提取作用。其中一個很重要的模塊是由譜圖神經網絡衍生出來的經典 GCN 模型，如果寫成譜圖的形式就是 Laplacian 正則化的過程。

如果我們想設計更好的，具有更強的魯棒性或者更好抗噪能力的 GNN，可以在正則化中再做一個更新，比如說引入一些小波變換、L1 正則等。事實上人們設計了一些具有多尺度多層分析能力的圖卷積模塊，并且引入了 Shrinkage 技術等對信號進行過濾、對數據進行壓縮，這些在實踐中都得到了比較好的驗證。

但圖神經網絡有時候還不夠用，因為隨著任務的復雜，特別是涉及復雜系統、海量數據的研究或者高階任務的預測（例如軌跡預測等新型任務），傳統的圖神經網絡還不夠。

人們又考慮是不是能夠在圖學習中利用更多的拓撲信息或結構信息，因此就導出了一種超越神經網絡的單純復形網絡的消息傳遞模式，主要克服了圖神經網絡的三個缺陷。第一是圖神經網絡在建模多個節點相互作用的時候并沒有那么有效；第二是在檢測高階結構（比如二階拓撲結構）時，圖神經網絡由于只考慮了關系，即連接節點的邊而并沒有考慮環或者面的信息和特征，因此 GNN 不能完成高階任務；第三是不能有效地處理高階信號，例如預測從某一點到另一點的軌跡信息。

單純復形網絡和傳統的消息傳遞模式很類似，只不過在傳遞的過程中不僅考慮了兩個節點之間邊的連接，還考慮了高階結構（比如三角形或多邊形）中的拓撲結構。把這些加入到消息傳遞模式中，就形成了單純復形消息傳遞模式。

這樣的模式可以更好地完成一些復雜任務，而且事實證明它們的表達能力比傳統的圖神經網絡更強。在一些特殊任務（例如軌跡預測任務）上，同等條件下比圖神經網絡的效果好很多。

關于未來的趨勢有很多個角度可以講，這里稍微列幾個大家可能感興趣或者比較重要的方向。

首先，圖神經網絡原來是一個圖結構數據，是一種離散化的結構，但是數學工具往往是坐落在連續空間上的，所以近來大家考慮將微分幾何的一些方法引入到 GNN 中，包括新型等變 GNN 的架構，利用對稱性等工具，以更好地理解和利用深度學習模型中圖結構性質的不確定性。

這里有一些值得關注的點，包括利用對稱性形成更有效的學習模型；應用最優傳輸的思想；在表示學習中使用微分幾何的一些概念，特別是人們對理解關系數據的幾何，并利用這些見解學習歐氏幾何或非歐幾何的表示有很濃厚的興趣。由此產生了許多采用特定幾何進行編碼的架構，比如一種利用雙曲幾何的 GNN 模型，由 2019 年首次引入，最近又有了新的進展。此外，過去一年里提出了大量涉及雙曲幾何的新型模型和架構，以捕獲更復雜的圖數據中的結構特征。另一個思路則是利用等方差或者對稱形式的幾何信息構建圖神經網絡。

離散微分幾何也被用于深入了解圖神經網絡的設計和解釋，曲率的離散概念可以表征離散結構的局部和全局的幾何特性。圖神經網絡往往會有過度擠壓的效應，因為節點之間有相互連接所以信息傳遞比普通的 CNN 要快。最近一些專家提出了一些基于曲率的圖學習解釋方法，用曲率刻畫過度擠壓的效率，這在圖神經網絡中是非常重要的任務。另外，有研究利用里奇曲率提出了一種減輕圖神經網絡擠壓效應的新方法。未來，離散曲率可能會和圖機器學習中的其他結構或拓撲問題相關聯，這個課題也將繼續影響該領域，并進入更多應用領域。

這些改進有望推動計算方面的進步。由于借鑒傳統的歐氏空間數據的表示學習思路來降低非歐空間的算法復雜度。例如，采用離散曲率幾何工具的計算成本往往是很高的，難以將它們集成到大規模的應用程序之中。因此，人們將提出一些先進的計算方法和專業化的軟件包來使這種幾何思想更容易為從業者所接受。

上述消息傳遞模式將成為一種主要范式。2021 年的時候牛津大學 (University of Oxford) 的 Michael Bronstein 預測說圖機器學習進步需要脫離來自于 2020 年以及之前主導該領域消息傳遞的思路。不過在 2021 年的時候，這個預言只實現了一部分，在接下來的研究中預計會進一步發展。其中有一種思路是消息傳遞模式可以引入子圖神經網絡，子圖結構能夠對特征進行更有效的刻畫，子圖神經網絡有望突破限制。該方法的思路是將圖表示成子結構的集合，這個想法可以追溯到 1960 年代的圖重構猜想，現在圖神經網絡將讓它重新煥發生機，學者們認為子圖 GNN 和相應的重構猜想會是未來一個主要的研究方向。

2021 年以來還有一個新的趨勢是將微分方程引入神經網絡。2021 年有研究通過物理系統的動力學重新設計圖學習模型，其中的動力學往往由微分方程來表達。另外，圖神經網絡還可以與微分方程的求解方式相結合，偏微分方程可以對圖上信息的傳播進行建模，很多標準的圖神經網絡架構可以看作是求解微分方程的數值迭代解，這個和 2019 年 NeurlPS 上的最佳論文 Neural ODE 的思想很像，將偏微分方程用于圖形網絡可能會產生一些新的突破。

這種對連續對象離散化的方法帶來了令人耳目一新的效果，讓圖神經網絡能夠為下游機器學習任務提取更有益的信息，并將焦點從支持一種信息轉移到支持圖結構信號計算的模式上。特別是 2022 年使用圖作為一種機制來執行本地化的連貫計算將成為一種新的趨勢，這種新想法在數據集上會交換有關的數據信息，并將其用作數據的整體屬性歸零的機制，這是一條有益的途徑。

圖神經網絡還受到信號處理、神經科學、物理學思想的啟發，獲得了新的靈感。很多人認為圖信號處理將重新點燃人們對圖機器學習的興趣，并提供一套數學工具，比如廣義傅里葉變換，即圖上的傅里葉變換，或圖上的小波變換等。經典的信號處理和物理學所依賴的基本技術（比如表示論），在圖神經網絡上的應用已經于 2021 年取得了一些重要進展，并且仍有很多開發空間。經典的線性變換、傅里葉變換、小波變換的吸引人之處在于提供了一種具有數學屬性的通用隱式空間 (latent space) 和完備的數據表示，比如平滑信號具有低頻傅里葉系數，而分段平滑信號具有稀疏和局部的小波系數。過去有構建線性變換來揭示信號特性的傳統，特別是有些物理學家在設計基于群作用下的不同對稱性的等變變換方面，會采用仿射群的連續小波變換等，這些技術都有可能用到圖機器學習或幾何深度學習里。

并且有研究人員預計構建結構化的潛在空間的趨勢將在 2022 年繼續得到發展，部分是由于應用程序的需求，但也出于交換適應性和可解釋性的普遍愿望。例如結構化變換域不是自適應的，但是非常容易讀取，而圖神經網絡將有助于實現兩者的平衡。總的來說，受信號處理和神經科學啟發的圖神經網絡將越來越具有市場，也將有越來越多樣化的應用（例如基于海量數據的交通預測、智慧城市建設），模擬復雜的物理動力學以及神經數學分析等方面將會起到重要的作用。

在研究更復雜的任務時，例如先前提到的復雜系統建模，可能需要更高階的拓撲信息來進行模型的訓練，甚至需要超越圖神經網絡。復雜系統的應用也很廣，2021 年的物理諾獎頒給了以復雜系統成名的喬治 · 帕里西 (Giorgio Parisi)，以表彰他在這方面的研究突破。雖然在基本抽象的層面上，復雜系統通常可以描述為圖（graph），但必須考慮更為復雜的結構，例如非成對關系和一些動態行為。2021 年的很多工作都涉及到動態圖和動態關系系統的預測，并展示了如何將圖神經網絡拓展到高階結構。

2021 年，單純復形的消息傳遞模式解決了圖神經網絡的許多限制，例如檢測某些子結構，捕獲遠程和高階交互，處理高階特征和轉譯 WL 層次的結構。實踐中，在分子屬性的預測問題以及軌跡追蹤問題中都取得了很好的結果。我預計這些方法將在 2022 年擴展為更為激動人心的新應用，比如用于計算大數據拓撲，關系預測和計算機通信學領域的難題中。

動態圖也有很多實際的應用，例如新冠傳播預測，交通預測，軌跡建模，這些應用往往需要捕獲高度結構化的時序數據的復雜動態效應。圖機器學習提供了捕獲空間依賴性，時間序列之間的交互以及動態相關性的能力，在接下來的研究中應該能夠看到時序數據和動態系統結合的想法被用于圖神經網絡中，也希望這些想法能夠產生新的模型設計、訓練方法以及對復雜動力機制的嚴格解釋。

另外，推理、公理、泛化在圖機器學習中會是比較大的問題。2021 年，由 DeepMind 做出的基于算法推理的圖神經網絡，能夠用于解決一些數學猜想和定理。他們開發與廣義貝爾曼 - 福德 (Bellman-Ford) 算法一致的知識圖譜推理器，從而利用分布變化顯示因果模型來設計圖神經網絡，這個方向具有很好的前景，而且通用性很強，可以為 GNN 開辟未來，我覺得 2022 年可能會有一些比較好的探索。

圖神經網絡還有可能和強化學習結合，強化學習是當今人工智能研究中比較突出和活躍的領域之一，通常強化學習中的 agent 或環境表示中都會出現圖結構和對稱性。2021 年有兩個比較相關的重要進展，一個是利用基于注意力機制的圖表示來建立強化學習的基準，以提高模型的泛化和遷移能力，這方面已經應用到連續控制、多智能體強化學習和機器人協同作業的復雜任務中。另一個方面，強化學習的應用已經擴展到具有基于圖的狀態和動態空間的環境場景下，在電網控制、組合優化，以及在圖論中尋找反例和解決猜想中都起到了很大的作用。

圖可能是將強化學習帶入現實世界的一個關鍵技術，在芯片設計、代碼建模、****物發現、AI for science 的科學應用、經濟學等諸多領域都是無所不在的。2022 年可能會見證基于強化學習的基準和圖結合的寒武紀爆發，這將引領強化學習研究朝著應用的方向發展，并會啟發很多基礎研究。我期望 2022 年基于 Transformer 和類似的圖注意力機制網絡的方法，能夠與強化學習結合。在不久的將來，圖網絡等方差、強化學習的組合優化等方面也會有很大的突破，并將在分子設計、網絡規劃、芯片設計等領域有廣泛應用。

特別地，圖神經網絡廣泛用于****物的發現和設計，并且已從圖神經網絡和 Transformer 的融合中獲益不少。GNN 的起源也是來自于計算化學的研究，分子圖的分析是 GNN 最流行的應用之一。2021 年該領域持續取得了非常重大的進展，并涌現出數十種新型網絡結構和多項基準測試結果。基于圖的 Transformer 也倍受矚目，繼承了這些結構在 NLP 中的優點。GNN 和 Transformer 相結合應用到****物研發或其他分子預測任務中，能夠起到跨任務、加強泛化能力的作用。

人工智能驅動的****物發現也越來越多地使用幾何和圖神經網絡的學習，AlphaFold 和分子圖神經網絡的成果讓我們離 AI 設計新****的夢想更近了一步，特別是 Alphabet 新子公司 Isomorphic Labs 的成立表明了業界對這項技術寄予厚望。其中，利用 AI 模 擬分子的相互作用成為實現這些目標而必須跨越的重要前沿課題。這可能是未來的一個趨勢，因為現在只能預測分子的一些固定結構，不能很好預測分子之間的相互作用，或者是多個粒子之間的相互作用。另外，基于細胞圖（cell graph）的 GNN 在軟物質（或凝聚態物理）研究中的應用將進一步發展。

最后，我簡單介紹一下圖神經網絡與量子機器學習的結合。量子機器學習對領域內大多數研究者來說仍是一個奇特的設想，但隨著量子計算硬件的出現，它已經迅速成為可能的現實。最近，Alphabet X 公司展示了量子機器學習架構中圖結構歸納偏差的優勢。2022 年，擴展圖量子機器學習將是一個激動人心的研究方向，將探索圖之外的幾何深度學習理論的量子版本。量子物理系統通常具有豐富的群對稱性，這些對稱性已被廣泛地納入到幾何深度學習的研究中。這些群對稱性也可用于量子架構的設計，從而進一步提高我們使用量子計算機對此類系統進行生成建模的能力。

我今天的介紹就到這里，謝謝大家。