性能SOTA、適用多種類型物體，國防科技大學單張RGB-D圖像預測物體對稱性

發布人：機器之心時間：2020-12-20 來源：工程師

加入技術交流群
- 掃碼加入
  和技術大咖面對面交流
  海量資料庫查詢

發布文章

在這篇論文中，來自國防科技大學和普林斯頓大學的研究者提出了一種面向單張 RGB-D 圖像的對稱檢測網絡 SymmetryNet。實驗結果表明，該檢測網絡顯著優于其它已有方法，性能達到了 SOTA，尤其是在沒有訓練過的物體上優勢明顯。此外，SymmetryNet 能夠準確地檢測出多種不同物體的對稱性，包括被遮擋的物體、包含多個對稱面的物體等。

作為大多數物體的基本幾何屬性，對稱性廣泛存在于我們的生活中。理解物體的對稱性是計算機理解真實世界以及機器人智能交互中的重要問題。因此，對稱性檢測在圖像分割、物體檢測以及機械臂抓取等任務中有著廣泛的應用前景。

三維物體對稱性檢測是經典的幾何問題，由于對稱性具有明確的數學定義（即物體在進行對稱變換后具有幾何不變性），傳統的三維對稱檢測方法往往首先檢測對稱對應點（symmetric counterpart），再通過聚類或投****算法得到物體的對稱面 / 軸。但是，這類算法的使用范圍通常僅限于幾何完整的合成三維模型或者高質量的重建三維模型，無法處理物體觀測缺失的情況，例如無法通過單張 RGB-D 圖像判斷物體的對稱性。

近日，國防科技大學和普林斯頓大學的研究者提出面向單張 RGB-D 圖像的對稱檢測網絡 SymmetryNet，相關論文被 ACM Transactions on Graphics (SIGGRAPH Asia 2020) 收錄。

論文鏈接：https://arxiv.org/abs/2008.00485

數據和代碼鏈接：https://github.com/GodZarathustra/SymmetryNet

方法

不同于從觀測數據中檢測對稱對應點的傳統方法，SymmetryNet 從大量數據中學習總結物體對稱性出現的規律，進而通過 RGB-D 圖像直接預測物體的對稱性。

圖 1：SymmetryNet：輸入 RGB-D 圖像，輸出物體對稱面 / 軸。

其核心思想是在檢測物體對稱面 / 軸的同時預測輸入點云的對稱對應點，這樣做的好處是能夠提高對稱檢測的精度和泛化能力。SymmetryNet 能夠檢測物體的反射對稱（reflectional symmetry）和旋轉對稱（rotational symmetry），并且能夠自動判斷物體對稱面 / 軸的數量，實現動態多輸出。

圖 2：SymmetryNet 網絡結構。

SymmetryNet 包括特征提取和對稱性預測兩個模塊。RGB 圖和點云首先分別經過一個卷積神經網絡和點云處理網絡，得到逐點特征，逐點特征隨后通過 weighted average pooling 層計算得到全局特征。逐點特征和全局特征拼接之后被用來預測物體對稱面 / 軸。

SymmetryNet 的創新點之一是將物體對稱面 / 軸的預測和對稱對應點預測結合起來，對這兩個相互關聯的任務同時訓練，從而提升對稱檢測的精度和泛化能力。如下圖 3 所示，對于當前點 P_i，網絡不僅預測物體的對稱面 / 軸參數 O_i 和 n_i，同時還預測點 P_i 的對稱對應點。其中，反射對稱物體的對稱對應點為 Q_i，旋轉對稱物體的對稱對應點則為一個圍繞對稱軸的圓環。

此外，為了處理具有多個對稱面 / 軸的物體，SymmetryNet 每次輸出多個對稱面 / 軸，再利用分類器判斷輸出每一個輸出的有效性。對于含有多個對稱面 / 軸的物體，SymmetryNet 通過求解 optimal assignment 優化方程計算預測對稱面 / 軸與真值的匹配關系，進而計算 loss 并進行回傳。

圖 3：SymmetryNet 同時預測對稱面 / 軸（藍色部分）以及對稱對應點（橙色部分）。

實驗

為了驗證算法有效性，SymmetryNet 在多個數據集上進行了實驗測試，實驗選用 PR 曲線作為評價標準。其中，ShapeNet 數據集上的定量實驗結果如下圖 4 所示。從圖中可以看出，SymmetryNet 顯著優于其它已有方法，性能達到了 state-of-the-art，尤其是在沒有訓練過的物體（Holdout category）上優勢明顯。