久久ER99热精品一区二区-久久精品99国产精品日本-久久精品免费一区二区三区-久久综合九色综合欧美狠狠

博客專欄

EEPW首頁 > 博客 > 清華團隊綜述全面解讀圖神經網絡理論方法與應用

清華團隊綜述全面解讀圖神經網絡理論方法與應用

發布人:數據派THU 時間:2021-11-11 來源:工程師 發布文章

以下文章來源于學術頭條 ,作者學術頭條

近年來,由于圖的強大表達能力,利用機器學習分析圖的研究越來越受到關注。圖(graph)作為一種數據結構,由節點(node)和邊(edge)組成,如果賦予節點和邊不同的含義,那么看似簡單的圖就可以組成非常龐大的信息。例如,若圖中的節點代表商品,邊表示購買順序,那么連起來就代表了一個用戶的購物網絡。

image.png

圖 | 一個最簡單的圖包含節點和邊(箭頭表示關系方向)

如今,在圖領域機器學習中,圖神經網絡(Graph Neural Network,簡稱 GNN)又成為新的研究熱點。由于 GNN 對圖節點之間依賴關系進行建模的強大能力,它在社交網絡、知識圖、推薦系統甚至生命科學等各個領域都得到了越來越廣泛的應用。

近日,清華大學研究團隊就針對 GNN 的最新發展,于 AI OPEN 發表了題為 “Graph neural networks: A review of methods and applications” 的研究綜述。文中詳細總結了構建 GNN 模型的 “四步” 框架并作理論分析,展示了 GNN 在各學科中常見的應用,并最后提出四個開放性問題,表明了圖神經網絡的主要挑戰和未來研究方向。

image.png

四步構建 GNN

GNN 是基于圖的深度學習方法,作為神經模型的一種,它通過圖節點之間的消息傳遞來捕獲圖的依賴性。GNN 的設計流程通常包含四個步驟:找出相應的圖結構、指定圖類型與規模、設計損失函數、使用計算模塊構建模型。

image.png

在此次的研究中,作者就詳細描述這四個步驟的操作框架。

(1)找到與目標相適應的圖結構:通??梢苑譃榻Y構化場景和非結構化場景。在結構化場景中,圖結構在應用中比較明確,例如在分子、物理系統、知識圖等上的應用。而在非結構化場景中,圖是隱含的,因此首先要從任務中構建圖,例如為文本構建一個完全連接的 “詞” 圖或為圖像構建一個場景圖。

(2)指定圖類型和規模:在獲得圖形后,需要找出圖形類型及其規模。圖通常分為有向 / 無向圖、同構 / 異構圖(同構圖中的節點和邊具有相同的類型,而異構圖中的節點和邊具有不同的類型)、靜態 / 動態圖(當輸入特征或圖的拓撲隨時間變化時,該圖被視為動態圖)。

image.png

圖 | 圖類型與規模及其詳細分類(來源:論文)

(3)設計損失函數:對于圖學習任務,通常有節點級任務、邊級任務、圖級任務三種。而從訓練設置的角度來看,圖學習任務分為監督設置(為訓練提供標記數據)、半監督設置(給出少量標記節點和大量未標記節點用于訓練)、以及無監督設置(僅提供未標記的數據)。

(4)使用計算模塊構建模型:常用的計算模塊有傳播模塊、采樣模塊、池化模塊。傳播模塊用于在節點之間傳播信息,以便聚合信息可以捕獲特征和拓撲信息。當圖很大時,通常需要采樣模塊對圖進行傳播。如果需要高級子圖或圖的表示,則需要池化模塊從節點中提取信息。

image.png

圖 | 三種計算模塊及其詳細操作(來源:論文)

GNN 的實際應用

接下來,作者們還對當前 GNN 的熱點應用一一進行闡釋,并根據結構化場景和非結構化場景對其進行分類。

結構化場景 GNN 應用包括:圖挖掘(如圖匹配、圖分類、圖聚類)、物理(即模擬現實世界的物理系統,如電磁系統、機器人系統等)、化學和生物學(如分子指紋、化學反應預測、生物工程等)、知識圖譜(knowledge graph,表示現實世界實體的集合以及實體對之間的關系事實,例如問答、信息檢索和知識引導生成)、生成模型、組合優化、交通網絡(例如預測交通狀態)、推薦系統(如社交網絡自動推薦功能)、其他應用(如預測股****未來趨勢、預測市場指數****、優化路由性能、在文本生成任務的抽象含義表示等)。

非結構化場景 GNN 應用則主要包括圖像和文本上的任務,如機器視覺推理、語義分割、文本分類、神經機器翻譯、關系抽取、事件驗證、閱讀理解等等。

image.png

挑戰與未來發展

盡管 GNN 在不同領域取得了巨大成功,但值得注意的是,GNN 模型還不足以為大多圖任務提供令人滿意的解決方案。于是,研究人員通過綜述已有研究,總結了以下四個未解決的問題:

穩健性:作為一種基于神經網絡的模型,GNN 也很容易受到對抗性攻擊。而且與僅關注特征的對圖像或文本的對抗性攻擊相比,對圖的攻擊進一步考慮了結構信息。

可解釋性:可解釋性也是神經模型的一個重要研究方向,不過目前 GNN 如同黑箱,仍缺乏解釋。因此,將 GNN 模型應用于具有可解釋性的實際應用非常重要。

圖預訓練:基于神經網絡的模型需要大量的標記數據,但是獲得大量人工標記的數據成本很高。因此,用自監督方法來指導 GNN 模型從未標記數據中學習從而進行預訓練無疑是一種創新,但該領域仍有許多開放性問題需要研究、。

復雜的圖結構:圖結構在現實生活的應用中靈活又復雜,而且隨著互聯網上社交網絡的快速發展,肯定會出現更多的問題、挑戰和應用場景,需要更強大的模型。

*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



關鍵詞: 深度學習

相關推薦

技術專區

關閉