論文分享 DeepCenterline: A Multi-task Fully Convolutional Network for Centerline Extraction

DeepCenterline: a Multi-task Fully Convolutional Network for Centerline Extraction

摘要

提出了一種新的中心線提取框架，該框架將可端到端訓練的多任務全卷積網絡（FCN）與最小路徑提取器相結合。FCN同時計算中心線距離映射並檢測分支端點。該方法生成的中心線爲單像素寬，沒有僞分支。它處理任意樹結構的對象，不需要事先假定樹的深度或分支模式。它還對目標對象不同部分的大量尺度變化和對象分割掩碼的微小缺陷具有魯棒性。據我們所知，這是第一種基於深度學習的中心線提取方法，它保證了複雜樹結構對象的單像素寬中心線。該方法在620例（其中400例作爲測試集）的冠狀動脈中心線提取中得到了驗證。由於冠狀動脈分支數目多、分支彎曲、長度、厚度、形狀等變化大，該方法具有一定的挑戰性。該方法可以生成位置良好的中心線，顯示較少的缺失分支，並且在對象分割掩模存在微小缺陷的情況下更具魯棒性。根據獨立的人類專家評估，與最先進的傳統最小路徑方法相比，我們的方法將患者水平的中心線提取成功率從54.3%提高到88.8%。

這是一種理想的中心線提取算法，可以在截面上生成離目標中心足夠近的中心線點，捕獲所有的“分支”，並且沒有假陽性假分支。

網絡結構

該方法包括兩個主要步驟（圖1）：一個多任務FCN同時計算局部標準化的中心線距離圖和端點列表；一個最小代價的路徑提取器，以FCN的輸出生成一組路徑作爲中心線。

多任務FCN完成了兩個任務：計算normalized centerline distance map 和檢測branch endpoints。

Centerline Distance Map

Suppose a volumetric segmentation mask is $I^{X×Y ×Z}$, and $I = \begin{Bmatrix}(x, y, z)|x ∈ {1,...,X},y ∈ {1,...,Y },z ∈ {1,...,Z}\end{Bmatrix}$ denotes the set of all voxel locations in the image.

中心線距離圖定義爲其體素強度的圖像，顯示每個體素與最近的中心線點的距離。由於分支半徑的變化較大（冠狀動脈近端半徑可能比遠端半徑大5倍），直接的歐氏距離變換計算可生成在分支不同部分具有很大可變值範圍的中心線距離圖。要獲得一條始終位於“中心”位置的中心線，需要在厚截面和薄截面之間巧妙地平衡成本圖像對比度。

爲了獲得所需的尺度不變性，我們建議使用FCN生成局部標準化的中心線距離映射。更具體地說，在訓練期間，在每個中心線點處獲得垂直於中心線切線方向的分割掩碼的局部橫截面圖。假設橫截面視圖中所有前景體素的集合爲S，然後計算體素索引$i=(x，y，z)∈S$的局部標準化距離映射值爲

其中$d^{Euc}_i$是體素i到視圖中心點的歐幾里德距離。爲了進一步突出中心線附近部分的對比度，應用對數變換生成參考中心線距離圖

其中$Dc=\begin{Bmatrix}di | i∈I\end{Bmatrix}$是整個分割掩模圖像I的局部標準化中心線距離圖，δ是一個小的正常數以避免數值問題。請注意，距離計算在等式中。(1)(2)僅在生成訓練參考標準時執行。在測試階段，FCN將直接預測中心線距離圖$\hat{Y_c}$。

Spatial-Wise and Channel-Wise Attention for Centerline Distance Map

傳統上，在不同的空間位置和信道上的卷積特徵被之後的網絡平等地對待。然而，中心線提取本質上是一個局部任務。具體地說，圍繞潛在中心線的狹窄區域需要最大的注意以獲得最佳的區分對比度。因此，提出了一種空間注意模塊來加權不同空間位置處的特徵圖。

Channel-wise attention

Spatial-wise attention

Branch Endpoint Detection

不同於中心線距離圖在整個分割掩模內由連續值組成，分支端點只是幾個孤立點。由於極端的類不平衡，使用體素分類或分割框架直接預測這些點是不可行的。爲了解決類不平衡問題，通過在每個端點周圍構造一個高斯分佈，在空間上佔據一定的區域，生成一個基於體素的端點置信圖。然後訓練FCN以預測端點置信度圖，該端點置信度圖在非零和零體素之間具有更平衡的比率。

在測試階段，預測的端點置信圖的閾值爲最大可能值的一半，即$0.5/\sqrt{2πΔ}$。然後，每個連接組件的質心作爲分支端點返回。(The centroid of each connected component is then returned as branch endpoints.)

Loss Function

式（10）所示的損失函數由兩項組成，一項用於中心線距離圖預測，另一項用於分支端點檢測。我們強制損失函數只考慮分割掩碼內的區域。假設分割掩模是$\Lambda∈\begin{Bmatrix}0,1\end{Bmatrix}^{X×Y×Z}$。對於分割掩模內的每個體素$\Lambda(x，y，z)$是1，否則爲0。

Minimal Path Extraction

給定根點、分支端點列表和基礎中心線距離映射，使用最小路徑算法提取樹結構對象的中心線。我們構造了一個無向圖G=（V，E），其中集合V包含與分割遮罩中的體素相對應的所有頂點，集合E包含集合V中連接兩個相鄰頂點的所有邊，在26鄰域設置下。在每個頂點vi上，權重$\omega_{v_i}=exp(\hat{Y_c}(i))$根據中心線距離圖設置。請注意，每個頂點所承載的權重在相應體素靠近中心線位置時較小，而在遠離中心線位置時更大。給定起始頂點s∈V和結束頂點t∈V，兩者之間的最小路徑定義爲p=（p1，p2，…，p k），pK∈V，k={1，2，…，k}這樣（1）p1=s，pK=t；（2）路徑中的每兩個相鄰頂點由一條邊連接起來；（3）沿該路徑的頂點權重之和最小化。

從s到t的最小路徑對應於兩點之間所需的中心線。要提取樹狀結構對象（如冠狀動脈樹）的中心線，一個根點通常對應於多個分支端點t1、t2、…、tT。在這種情況下，分別計算根點s和每個端點T i，i∈{1，2，…，T}之間的最小路徑。然後我們按順序從終點到起點跟蹤每條路徑。一旦當前路徑與某些先前跟蹤的路徑相交，它將合併到先前跟蹤的路徑中。中心線點最終在小窗口中通過迭代平均濾波進行平滑，以獲得更平滑的外觀。

Experimental Design

爲評價該方法的有效性，對620例患者進行了620次冠狀動脈容積CTA掃描。首先將圖像間距歸一化爲0.4×0.4×0.4mm3。冠狀動脈和升主動脈是由一個半自動的軟件進行分割，手工審查和編輯。冠狀動脈和升主動脈的分割模板作爲實驗輸入。由於冠狀動脈起源於升主動脈，每一根冠狀動脈樹的根點都很容易作爲連接到主動脈的動脈體素。爲了簡化符號，我們使用CL作爲“中心線”的簡寫。由於血管的複雜三維結構和單像素寬的要求，人工標註中心線是很難實現的。因此，在訓練過程中，由最先進的傳統方法（稱爲基線）提取的中心線作爲DeepCL的訓練參考真理。在測試過程中，DeepCL和基線之間的匹配度首先作爲一個健全性檢查來研究。然後利用中心線到分割掩模Hausdorff距離等不需要“真值”中心線的各種度量，以及獨立的人類專家評審，對DeepCL和基線方法進行評價。

DeepCenterline

我們將620個掃描隨機分成三個數據集：200個掃描用於訓練，20個掃描用於驗證，400個掃描用於測試。在訓練集上，以基線法提取的中心線作爲參考真理。雖然參考真值是由強基線方法生成的，但仍然存在分支缺失、分割掩模不完善時出現錯誤分支等錯誤。基於參考真值生成局部標準化中心線距離圖和分支端點置信圖。該方法的參數根據驗證集進行調整。將優化後的模型應用於400個測試掃描，以評估性能。輸入patch大小爲64×64×64體素。公式（9）中高斯場的標準偏差設爲3 mm。式（10）中的損失加權係數γ爲0.5。採用隨機梯度下降法對多任務FCN網絡進行優化，批量爲3。共有20個時期。初始學習率爲10-2，每5個階段除以2。

兩種方法的可視化比較及Hausdorff距離分佈。（a） 紅色是DeepCL的中心線。青色是基線法的中心線。綠色表示兩條中心線的重疊。第一行：DeepCL查找基線方法丟失的分支。第二行：DeepCL避免了由基線生成的錯誤分支。第三行：DeepCL生成位於中心位置的中心線，避免在複雜的分叉區域或曲折的線段上走直線捷徑。最後一個帶有紅色邊框的圖顯示了DeepCL和baseline的失敗案例。（b） 兩種方法從體素到最近中心點的Hausdorff距離分佈。（在線彩色圖）