CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation
摘要
本文提出了一種結合Faster R-CNN和U-net網絡的心臟分割方法。由於R-CNN具有更快的精確定位能力和U-net強大的分割能力，CFUN只需要一步檢測和分割推理就可以得到完整的心臟分割結果，在顯著降低計算成本的情況下獲得了良好的分割效果。此外，CFUN採用了一種新的基於邊緣信息的損失函數3D-edge-loss作爲輔助損失，加快了訓練的收斂速度，提高了分割效果。在公共數據集上的大量實驗表明，CFUN在顯著縮短的推理時間內表現出競爭性的分割性能。我們的源代碼和模型在https://github.com/Wuziyi616/CFUN上公開發布。
介紹
由於GPU的內存限制，通常採用一種分塊策略，即分割網絡需要對體積較小的塊進行處理，並將它們疊加在一起，形成最終的心臟分割結果。由於心臟體積只佔整個CT圖像的一小部分，這種方法無法捕捉心臟解剖的全局約束，浪費了大量的計算資源。
我們提出了一種基於檢測的分割方法，使得分割網絡能夠聚焦於CT圖像中最相關的部分，而不需要將整個圖像分割成小塊。另一個優點是分割網絡以RoI所包圍的整個心臟圖像作爲輸入，可以利用心臟的整體信息得到更加規則化的分割結果。
與傳統Faster R-CNN處理多個不同目標的boxes不同，我們迫使檢測網絡只識別一個包括了整個心臟標註bounding box。考慮到CT圖像的成像特點，將Faster R-CNN中的ResNet結構替換爲P3D Bottleneck，並選擇3D Edge-loss分支作爲3D U-net的輔助任務，以獲得更精確的分割。
Faster R-CNN and Region-proposal Based Segmentation
經過兩次改進，Faster R-CNN顯示出卓越的檢測和定位能力，並且非常有效。圖片首先通過區域建議網絡（RPN）得到多個推薦框，然後直接在調整後的推薦框對應特徵中加入分類和迴歸網絡，得到對象的分類結果和最終的邊界框。通過在RPN後添加mask head，Mask R-CNN網絡可以同時進行檢測、分類和分割。目前已有一些嘗試將Mask-R-CNN應用於醫學圖像分割。
3.1 Heart Detection and Localization
3.2 Heart Segmentation
3.3 Edge-loss Head and Loss Function
由於嵌入式三維U-net的簡化，我們通過增加一個邊緣損失模塊來補償精度損失。結果表明，邊緣損失模塊不僅有助於獲得更好的分割結果，而且加快了收斂速度。具體地說，我們將固定的3D Sobel核應用在最終的預測圖和one-hot真值標籤上，計算它們之間的L2損失，稱爲邊緣損失。邊緣損失鼓勵3D U-net更多地關注心臟器官和背景之間的邊緣，這通常更難學習。我們設計了6個對應於6個方向（正x，y，z和負x，y，z）的3D Sobel核，每個核可以描述爲3×3×3矩陣，其中中間的3×3矩陣爲零,如圖4 所示的值，上面的3×3矩陣爲所示的值，下面的3×3矩陣爲 所示的值。邊緣提取可以通過Sobel核與分割的預測圖和真值標籤之間的卷積運算來實現。
