編者按：西漢劉安的《淮南子·說山訓》中有這樣一段話：

“見一葉落，而知歲之將暮；睹瓶中之冰，而知天下之寒.”

這兩句話顯示了人見微而知著的能力，人對這個世界的認知，是在對周圍世界的不斷探索過程中逐步形成的。從第一次張開雙眼觀察這個世界，到對這個世界的每一次發問，我們在父母的監督之下成長，整個學習過程也是伴隨著外部反饋的大量監督信息。

我們一直試圖讓機器像人一樣學習，因此，在目標檢測分類任務中，我們為機器提供了海量的有監督數據，使得機器在某些特定領域甚至取得了遠超人類的能力。

然而，對于語義分割任務，大量的像素級別的標注意味著無法想象的人工成本，與之相對應，人對視野內目標的語義分割，也無需以精細到像素級別的監督信息為保障，而只需以弱監督作為輔助。因此，學術界衍生出了針對弱監督的語義分割這一前沿方向。

今天，來自美國伊利諾伊大學香檳分校的魏云超博士，將以一片葉子作為“種子點”出發，帶著大家深度學習，直至擴散出整幅圖像中秋色的mask。

文末，大講堂提供文中提到參考文獻的下載鏈接。

本報告主要是針對弱監督視覺語義分割問題來介紹一下近兩年來的一些工作。

對于語義分割，目前大家用到最多的就是這種全卷積網絡。在全監督訓練的情況下，我們需要給定訓練圖片及其對應的像素級標注的mask。然而這種像素級的mask往往很難獲取。

比如，我們如果要在ImageNet上做語義分割的話，其標注的工作量會非常大。具體地，ImageNet上大概包括了2萬類別，如果每一類我們只標100張圖片用于訓練的話，最終則需要標二百萬的訓練圖片。如果標注一張圖片需要五分鐘，則一個人大概需要標注19年才能完成。因此大規模圖像的全監督語義分割往往在數據標注上需要耗費大量的時間和金錢。

因此我們考慮對于語義分割任務能否采用一些相對于像素級標注更容易獲取的標注作為監督信息。這里我們給出了四種簡單的標注方式，包括物體框、線條、點以及圖像標簽。我們稱這些比像素級mask更容易獲取的監督方式為弱監督。一般來講，在這些弱監督信息中圖像級的標簽最容易獲取。

所以我們接下來的工作也都是圍繞如何利用圖像級的標簽作為監督信息，最終實現像素級別的分類。實現這一目標的關鍵是如何構建訓練圖像中圖像標簽和像素之間的關聯，即自動的推斷出物體在圖像中的位置。進而實現弱監督的物體定位或語義分割等任務。

這是我們根據近兩年在弱監督學習上的一些工作，主要探索了如何有效構建圖像語義標簽和像素之間的關聯。這些工作在弱（半）監督的語義分割或定位等任務上都取得了當時最好的性能。

首先是最早在PR上面一篇文章，我們提出了一種Proposal-based的方法來構建圖像標簽跟語義之間的關聯。

這篇文章的思路是訓練一個多標簽的分類網絡，進而利用該網絡對圖片產生的proposal進行分類，最后將那些在某個類別上confidence比較高的proposal映射回原來的圖片，從而獲得語義標簽和localization的關聯。我們利用這種粗糙的localization圖作為監督信息訓練語義分割網絡。

我們利用了當時提出的Hypotheses-CNN-Pooling網絡，訓練了用于判別proposal類別的分類網絡。最后利用那些高confidence的proposal生成物體的定位圖。雖然這個工作當時取得了比較高的分割性能，但有兩個明顯的缺點。首先，該方法需要對所有的proposal都做一次分類，因此會有較高的時耗。其次，直接將proposal內的像素點作為物體區域會引入很多false positive像素，比如屬于背景的像素。

為了克服proposal-based方法的缺點，我們在2017年提出了一種Simple to Complex的方法。

這個方法基于了一個有意思的觀察。我們發現Internet上的圖片可以大致分為兩種，即簡單圖片和復雜圖片。簡單圖片主要是指圖片中的物體類別單一并且背景比較干凈；復雜圖片主要是指圖片中物體類別語義多樣并且背景非常雜亂。我們發現對于簡單圖片，可以通過顯著性檢測技術有效地獲取包含前背景信息顯著圖。

從上面的圖中可以看出，在顯著圖上像素值越高，其同語義的關聯性就越大。因此在知道簡單圖片語義標簽的情況下，我們很容易通過顯著圖構建語義標簽跟像素點的關系。