以下文章來源于GiantPandaCV ，作者李響

來源丨GiantPandaCV 

文章目錄

• 1 前言

• 2 方法概述

• 2.1 InceptionV1-V3 and convolution conversion

• 2.2 Residual block

• 2.3 2.5D 網(wǎng)絡(luò)

• 3 RIU-Net 的整體結(jié)構(gòu)

• 4 實驗和可視化

• 5 總結(jié)

最近一直在讀醫(yī)學(xué)圖像的論文，于是我打算寫一個系列的閱讀筆記，語言比較精簡。在上一篇閱讀筆記（https://zhuanlan.zhihu.com/p/505483978）中，分析了醫(yī)學(xué)圖像分割的混合 Transformer 網(wǎng)絡(luò)：UTNet，在這一篇筆記中介紹的網(wǎng)絡(luò)與 UTNet 思路完全不同，追求的是比 U 型網(wǎng)絡(luò)更輕量級，但準(zhǔn)確率更高的設(shè)計。還是先給下論文地址（剛剛接收）：https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891 。

首先分析下這篇論文的動機，對于 LITS17 和 3DIRCADb 這類肝臟與肝腫瘤數(shù)據(jù)集，3D 卷積網(wǎng)絡(luò)具有學(xué)習(xí)上下文特征的能力，有效利用 CT 圖像的空間信息，但是訓(xùn)練和部署也會消耗大量計算資源。所以，既能利用切片間的空間信息，并且保證分割精準(zhǔn)度，就是論文需要解決的問題。本篇閱讀筆記首先對論文中涉及的方法進行概述；再詳細介紹論文提出的 RIU-Net 結(jié)構(gòu)；最后分析了實驗和分割可視化部分，并簡單的總結(jié)。

這一部分作為前置依賴，類似于 Related Work，對涉及網(wǎng)絡(luò)結(jié)構(gòu)熟悉的讀者可以略過相應(yīng)的介紹。

如下圖，先看 InceptionV1 模塊，它并行包含了 1×1、3×3、5×5 和 7×7 大小的卷積核。雖然該模塊提高了網(wǎng)絡(luò)的可行性，但是卻增大了網(wǎng)絡(luò)參數(shù)量。InceptionV2 使用兩個 3×3 卷積核來代替一個 5×5 卷積序列，三個 3×3 卷積核來代替一個 7×7 卷積序列。InceptionV3 實現(xiàn)了將 N×N 的卷積序列替換 為 1×N 和 N×1 的卷積序列。因此，3×3 卷積序列可以替換為 1×3 和 3×1 的卷積組合， 同理，5×5 卷積序列可以替換為兩組 1×3 和 3×1 的卷積組合，7×7 卷積序列可以替換為三組 1×3 和 3×1 的卷積組合，可以看下圖（d），這里是很清晰的，這種處理讓網(wǎng)絡(luò)的參數(shù)量更理想化。

關(guān)于 Res-Net 的思想，我就不多介紹了。在這篇文章中，Residual block 也被嵌入到 InceptionV3 中，如下圖所示。這樣做，把 U-Net 的基礎(chǔ) block 替換為 RI(Res- Inception) 結(jié)構(gòu)，就是更薄且更寬的 Inception 卷積結(jié)構(gòu)為基礎(chǔ)卷積序列帶有殘余連接，網(wǎng)絡(luò)整體參數(shù)量比傳統(tǒng) U-Net 降低了 70%，節(jié)省了計算資源。

在醫(yī)學(xué)圖像分割中，充分醫(yī)用好醫(yī)學(xué)圖像切片間的空間信息是至關(guān)重要的。直接將 3D 圖像輸入到網(wǎng)絡(luò)中，3D 圖像會占據(jù)巨大的內(nèi)存，或者直接將 3D 圖像轉(zhuǎn)換為 2D 圖像，這樣也是不可取的，直接拋棄了醫(yī)學(xué)圖像切片間的空間信息。所以出現(xiàn)了 2.5D 的思想，即將一疊相鄰切片作為網(wǎng)絡(luò)的輸入，并生成與中心切片的分割圖，這樣既能節(jié)省計算資源也能利用好空間信息。

在上一部分，我們重點介紹了論文中涉及到的技術(shù)，基于此，我們來看下這個網(wǎng)絡(luò)的整體設(shè)計。網(wǎng)絡(luò)架構(gòu)是以 U-Net 為原型設(shè)計的，模型依舊呈現(xiàn)出對稱結(jié)構(gòu)，左半部分是編碼器，用于特征提取，右半部分是****，用于定位感興趣區(qū)域，編碼器與****之間普通的跳躍連接，實現(xiàn)低級語義信息與高級語義特征之間的組合。整體框架由 9 個 RI(Res- Inception) 模塊、4 個下采樣層、4 個上采樣層和一個 1×1 的卷積層組成。如下圖所示。

因為在肝臟與肝腫瘤分割中，尤其是腫區(qū)域大小不一，如果使用 U-Net 中固定的卷積序列，勢必會導(dǎo)致感受野受到限制，降低分割精度。這樣的設(shè)計可以用不同的卷積核來獲得圖像不同尺度的感受野，來保障分割精度。

在這這篇論文中，實驗和可視化的部分是可以重點借鑒的，使用 LiTS17 和 3DIRCADb 兩個數(shù)據(jù)集就行訓(xùn)練、驗證與測試。首先，我們來看下消融實驗的部分，分別在兩個數(shù)據(jù)集上就行消融實驗分析。評價指標(biāo)包括 Dice 系數(shù)、體積重疊誤差(VOE)、相對體積誤差(RVD)、平均對稱表面距離(ASD)、均方根對稱面距離(RMSD)。

下表是消融分析在 LiTS17/3DIRCADb 數(shù)據(jù)集上的肝臟定量分割結(jié)果，其中，RIU-Net-I 到 RIU-Net-IV 為不同的Inception，這個對應(yīng)在第二部分的介紹中。

下表是消融分析在 LiTS17/3DIRCADb 數(shù)據(jù)集上的肝腫瘤定量分割結(jié)果。

上面兩個表對應(yīng)的可視化對應(yīng)下圖，紅色代表肝臟區(qū)域，綠色代表腫瘤區(qū)域。

對比實驗基于 VGGnet 框架的 FCN 網(wǎng)絡(luò)、U-Net、R2U-Net、Attention U-Net 和 U-Net++ 網(wǎng)絡(luò)，如下，分別是肝臟定量分割結(jié)果和肝腫瘤定量分割結(jié)果。RIU-Net 不但精度更高，而且波動范圍較小。

對應(yīng)的，下圖表示 6 種模型在 LiTS17 和 3DIRCADb 數(shù)據(jù)集上的可視化分割比較結(jié)果，在處理肝臟邊界含有腫瘤與小腫瘤難分割這兩種情況時，論文中提出的網(wǎng)絡(luò)效果更好。

在處理肝臟邊界含有腫瘤情況時，F(xiàn)CN、U-Net、R2U- Net 和 Attention U-Net 沒有將腫瘤區(qū)域分割出來或?qū)⒏文[瘤誤分割成肝臟，而且肝臟分割或多或少出現(xiàn)了過分割或欠分割，雖然 U-Net++ 分割出來了腫瘤區(qū)域，但是出現(xiàn)了嚴(yán)重的錯誤分割，將大量肝臟區(qū)域分割成肝腫瘤，然而論文中的模型分割的結(jié)果接近于金標(biāo)準(zhǔn)。此外，在處理小腫瘤區(qū)域時，這篇論文中提出的模型分割的結(jié)果也最接近金標(biāo)準(zhǔn)。

最后，在下圖中，分別在 LiTS17 和 3DIRCAb 數(shù)據(jù)集上對肝臟和肝臟腫瘤分割進行 3D 錯誤可視化（紅色和藍色區(qū)域分別表示明顯的過分割和欠分割錯誤，而綠色區(qū)域表示與金標(biāo)準(zhǔn)的一致性）。

這篇論文在保證精度的同時，大幅減少了醫(yī)學(xué)圖像分割網(wǎng)絡(luò)的參數(shù)量。所以關(guān)于訓(xùn)練和推理時間，是需要我們重點關(guān)注的。如下表，對比時間成本達到了最低。

總結(jié)一下，這篇論文提出了一種醫(yī)學(xué)圖像肝臟與肝腫瘤分割網(wǎng)絡(luò)，核心思想是建立一個提取圖像多尺度信息又可以充分節(jié)省計算資源的輕量級網(wǎng)絡(luò)。引入了殘差，結(jié)合不同分辨率的特征圖，可以避免過擬合。為了節(jié)省計算資源，將 U-Net 中的所有卷積序列替換成 Inception 模塊，不僅減少了參數(shù)量也能夠提取更多圖像特征。另外，為了解決輸入網(wǎng)絡(luò)結(jié)構(gòu)中的 2D 圖像無法利用醫(yī)學(xué)圖像切片間的空間信息以及 3D 圖像又會占據(jù)巨大的內(nèi)存的問題，論文中采用了 2.5D 的輸入形式，即將一疊相鄰切片作為網(wǎng)絡(luò)的輸入，并生成與中心切片的分割圖。最后，做了豐富的可視化工作。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。