我們在今年的CVPR上也發表了另外一篇相關的文章，通過一種更簡單的方式獲得了更好的定位結果。物體的某個區域之所以會被highlight出來，其實是因為這部分特征的判別力較強。如果這部分判別力較強的特征可以transfer到物體的其它區域，那么其它判別力較弱的區域也有可能被highlight出來。我們發現這個想法可以很容易的通過加寬卷積（dilated convolution）的方式實現。如上圖所示，在輸入的特征圖上只有鳥的頭部判別力最強（綠圈內的區域），隨著dilation rate的提升越來越多的距離判別區域較遠的物體區域都被成功的highlight。

基于這個觀察，我們在分類網絡中引入了四種dilation rate不同的分支進行分類訓練。從左圖可以看出，不同的分支可以定位出了不同的物體區域，并最終融合出一個非常完整的物體定位圖。如果把定位圖應用于語義分割，我們需要通過一個threshold將物體區域從定位圖中取出。右圖對比了我們的方法跟CAM的對比，可以看出我們的方法無論對小物體還是大物體都可以很好定位，因此threshold也更容易選取。

基于生成的物體定位圖，我們嘗試訓練了弱監督和半監督的語義分割網絡。其中半監督是指一部分圖像的masks是通過人工標定的，而另外一部分僅利用了圖像級的標簽。

我們對比了在不同設定下的分割圖結果，可以看出隨著人工標定圖片的增多，效果也在一步步提升。同時，在弱監督的設定下，我們的方法在Pascal VOC上也獲得了更高的分割性能（58.8->60.8）。在僅利用1400多張人工標注圖的情況下性能可以進一步提升到68.5。該結果非常逼近全監督（1萬張人工標注圖）情況下的分割結果。

在今年的AAAI上，我們發表了另外一種半監督語義分割的文章。

在上個工作中提到的半監督方式可以被定義為In-category的半監督。In-category是指如果訓練某個類的分割網絡，則必須標定一些屬于此類的圖片。但在大規模類別的情況下（如ImageNet中的2萬類），少量的標注仍會耗費大量的時間。因此，我們在這個工作中提出了一種Cross-category的半監督方法。Cross-category是指只有一小部分的類別具有人工標注的masks，而大部分類別都只有圖像的標簽。我們的目標是將在少量類別上學習到的分割能力遷移到大量的類別上。

在這個工作中我們提出了一種Transferable Semi-supervised Network，主要包括了Label Transfer Network和Prediction Transfer Network。

對于Label Transfer Network，我們首先利用有人工標注的圖片訓練了一個class-agnostic的前背景分割網絡。進而通過CAM的方法找到每個類別在圖片上最具判別力的種子點。最后我們通過self-diffusion的算法，將種子點在class-agnostic的分割圖上擴散出屬于不同類別物體的整個區域，從而獲得包含語義信息的mask。

為了使得預測的mask更接近于人工標注的mask，我們又提出了Prediction Transfer Network。P-Net利用mask上pixel的語義信息，將輸入圖片encode成跟語義數目一致的圖片數量（如Pascal VOC上為21），并concat到一起作為input。我們利用GAN的思想訓練出discriminator，用于判斷哪些input是通過真實mask生成。最后我們固定P-Net的參數并對預測的mask給定假的標簽，使得預測的mask盡可能逼近人工標注的mask。我們在Pascal VOC上僅用到了10個類別的人工標注mask，并在20個類上獲得了64.6的分割性能。

我們最終的目的是希望該方法可以實現大規模類別的語義分割，因此也在ImageNet上做了實驗。上圖是在部分類別上的分割結果。雖然沒有任何人工標注信息，可以看出我們的方法仍然可以獲得令人滿意的分割結果。

我們所有的工作都是圍繞如何生成高質量的物體定位圖開展的。這些物體定位圖進而可以服務于語義分割或檢測等任務。如何更高效的定位復雜場景內的物體、確定不同物體之間的邊界是我們后續探索的目標。

文中提到參考文獻的下載鏈接為：

鏈接: https://pan.baidu.com/s/1x82GXb7KwI_jNHWzZrCY9Q 密碼: 1d3p