論文分享 Learning tree-structured representation for 3D coronary artery segmentation

Learning tree-structured representation for 3D coronary artery segmentation(2019.8)

摘要

冠狀動脈的分割已經進行了廣泛的研究，然而，由於其複雜的解剖結構，從三維冠狀動脈ct血管造影（CCTA）中自動分割冠狀動脈具有極大的挑戰性。受近年來利用樹狀結構的長短期記憶（LSTM）來模擬具有樹狀結構的NLP任務的啓發，我們提出了一種新的樹狀結構卷積門控遞歸單元（ConvGRU）模型來學習冠狀動脈的解剖結構。然而，與針對自然語言處理中的語義關聯和情感分類而提出的樹結構LSTM不同，我們的樹結構ConvGRU模型考慮了輸入數據中的局部空間相關性，因爲卷積適用於輸入到端以及端到端的轉換，因此更適合於圖像分析。爲了進行體素分割，我們提出了一種樹狀結構的分割框架。它由用於多尺度不同特徵的提取和最終預測的全卷積網絡（FCN），以及用於解剖結構建模的樹狀ConvGRU層組成。在四個大規模的三維CCTA數據集（據我們所知是最大的）上對所提出的框架進行了廣泛的評估，實驗表明，與其他冠狀動脈分割方法相比，我們的方法更加準確和有效。

相關工作

1. Vessel segmentation

第一類方法需要在起點和終點之間建立一條最小成本路徑，這是手動或自動預定義的（ 3d MRA
coronary axis determination using a minimum cost path approach）。得益於利用更高層次的信息，它們往往會產生更符合解剖學的結果。然而，準確分割冠狀動脈需要一個精心設計的成本函數來控制分割過程的迭代。

第二類方法的基本策略是產生一個預分割，然後恢復缺失的結構並去除假陽性分割（ Automatic centerline extraction of coronary arteries in coronary computed tomographic angiography）。然而，它們需要相對準確的預分割來初始化細化過程。

第三類方法通過跟蹤來實現血管的分割。他們反覆決定下一個位置和血管的幾何結構（如方位和半徑）。這將顯著降低計算成本，因爲只需要探索圖像體積的一小部分。不幸的是，這些技術對噪音、僞影和其他局部擾動也很敏感，因爲它們只依賴於局部信息。

圖1. 從左到右：三維CCTA容積，相應的冠狀動脈分段，以及冠狀動脈的三個縱向視圖。冠狀動脈分段用紅色表示。

2. Convolutional RNN models

到目前爲止，過去的研究大多使用長短期記憶（LSTM）來處理梯度消失或爆炸的臭名昭著的問題，這是訓練普通RNN模型時的一個重要問題。通過合併幾個精心設計的門函數，LSTM減輕了這個問題。然而，輸入到端和端到端的變化是基於LSTM中的完全連接層，忽略了輸入數據中的局部空間相關性，因此，它不適合於圖像序列的分析。最新提出的卷積LSTM（convlstm）用卷積運算代替了LSTM中的矢量乘法，它保留了輸入的空間拓撲結構，同時在LSTM中引入稀疏性和局部性，以減少過參數化和過擬合。不幸的是，具有高度分支化和管狀結構的血管是極其複雜的，而最初設計用於圖像序列分析的convlstm不能處理這種複雜的樹結構。雖然樹結構LSTM被提出用於分析樹結構數據（特別是在自然語言處理中的語義關聯和情感分類），但是樹結構LSTM單元中使用的向量乘法不適合於圖像分析。相反，我們的樹結構ConvGRU設計解決了這兩個問題，即沒有考慮複雜的樹結構和輸入數據中的局部空間相關性（圖2）。

Methodology

1.1 LSTM & GRU

1.2 ConvLSTM

2. Tree-structured ConvGRU

Sequential ConvRNNs無法處理樹狀結構的數據。爲此，我們提出了一種新的樹狀結構的ConvRNN網絡來提取樹狀結構的解剖學信息，其中父節點從其所有子節點選擇性地聚集特徵。例如，希望強調當存在較細動脈與主幹動脈合併時，主動脈的幾何結構和方向。

圖2. 從左至右：sequential ConvLSTM和提出的樹結構ConvGRU。在ConvLSTM中，包括輸入Xt、先前隱藏狀態Ht-1和先前存儲器Ct-1的信息按順序傳遞（從t-1到t，然後到t+1）。與樹結構的ConvGRU一樣，它沒有內存單元。信息從所有子節點傳遞到父節點。例如，此圖中的節點j合併信息（來自其子節點l1和l2以及當前輸入Xj的隱藏狀態hl1和hl2）以生成當前隱藏狀態Hj。節點k合併信息（來自其子j的隱藏狀態hj及其輸入Xk）以生成當前隱藏狀態Hk。注意，儘管我們只顯示樹結構ConvGRU模型的一個或兩個子節點，但它能夠處理兩個以上的子節點。

3. Artery centerline extraction

首先，我們從CCTA數據中提取冠狀動脈中心線，它捕獲冠狀動脈的解剖結構。我們使用先前公佈的方法（DeepCenterline）提取中心線。它是一種基於深度學習的方法，能夠產生精確的（誤差在單個體素內）中心線。這裏總結了簡短的流程。

• 我們使用3D U-Net預分割冠狀動脈。解剖結構是通過預分割獲得的。儘管如此，仍然存在許多錯誤的預測。由於所提出的樹型結構分割框架對不完全分割具有較強的抵抗力，因此本研究不需要精確的預分割。
• 我們使用之前發表的基於深度學習的方法（DeepCenterline）進行中心線提取。更具體地說，通過訓練的多任務FCN網絡同時預測中心線的端點和距離圖。
• 最終的動脈中心線由最小路徑算法生成。生成的中心線可以用樹結構G=（V，E）表示，其中節點（表示中心線點）和鄰接矩陣（表示中心線點之間的連接）分別用V和E表示。

4. Tree-structured segmentation network architecture

本文將冠狀動脈分割問題描述爲一個樹狀結構的分割問題，其中訓練集是冠狀動脈樹的集合，預測值也被構建成樹狀結構。此工作中的輸入樹如下所示。對於動脈樹G中的每個節點j，從中心線垂直方向的CCTA體積裁剪橫斷面圖，我們進一步用主動脈強度和鈣化閾值分別使這個小斑塊標準化，以突出這兩個重要區域。最後，將標準化的切片與原始切片連接起來，結果是一個與節點j相關聯的樹狀通道圖像xj。形式上，目標是學習一個非線性函數$（H_1，.. ，H_J）=\sigma_W（x_1，... ，x_J）$，將樹狀結構輸入映射到樹狀結構輸出，其中J和W表示樹中的節點數和要學習的參數。圖3示出了所提出的樹結構分割框架的概述。

在我們的網絡中，我們將結構化信息建立在一個統一的神經網絡中，該網絡可以端到端地進行訓練。它有三個模塊：編碼器、樹結構的ConvGRU和解碼器。編碼器$\phi$從輸入數據中提取鑑別特徵，得到每個節點j的多尺度表示xj。樹結構ConvGRU模塊$\psi$建模冠狀動脈的解剖結構，生成特徵圖Hj，編碼新提取的解剖相關特徵。基於由編碼器和樹結構ConvGRU生成的特徵映射，解碼器$\varphi$生成最終預測Pj。

圖3. 對提出的樹結構分割網絡進行了綜述。系統的輸入是一個輸入樹V，即圖像組織爲樹結構。輸出P也被組織爲樹結構。樹形分割網絡由兩部分組成：帶編碼器的FCN主幹網$\phi$用於判別特徵學習和用於預測的解碼器$\varphi$，以及用於解剖結構建模的樹結構ConvGRU層$\psi$。FCN骨幹網絡和樹結構的ConvGRU層由所有樹節點共享。詳細信息如圖4所示。

4.1 Discriminative feature learning & tree-structured output generation

圖4示出了用於特徵提取和最終預測的骨幹網絡。它基於U-Net（Ronneberger等人，2015）架構。編碼器，解碼器將整個分割過程分爲三個階段：鑑別特徵學習、解剖結構建模和樹結構輸出生成。

說明是用的2D U-Net

在鑑別特徵學習階段，輸入與每個節點j相關聯的圖像xj進入編碼器，其中包括幾個3×3卷積層（每個卷積層後面跟着一個ReLU層）。兩個2×2層也被用來對特徵地圖進行下采樣。編碼器能夠從輸入中提取鑑別特徵$\chi_j=\phi(x_j)$。在解剖結構建模階段之後，由樹狀結構的ConvGRU層生成隱藏狀態Hj，解碼器使用反捲積逐步將特徵映射重新縮放到原始維度，同時合併從編碼器傳遞的信息，得出最終預測Pj=$\varphi$（Xj，Hj）。編碼器和解碼器的細節如圖4所示。

圖4. 詳細介紹了提出的樹型分割網絡。編碼器和解碼器都由多個卷積層組成（每個卷積層後面跟着一個ReLU層，爲了簡單起見，該層被忽略）。對於與節點j相關聯的輸入圖像Xj，它被傳遞到多個卷積層中，並由編碼器中的池層逐步降採樣，生成特徵映射Xj。樹結構的ConvGRU層接受輸入Xj並生成隱藏狀態Hj。在解碼器中，來自樹結構ConvGRU層的Hj逐漸向上採樣到原始維度，同時合併來自編碼器的信息，產生最終的預測Pj。

4.2 Anatomical structure modeling

樹狀結構ConvGRU的引入是由於冠狀動脈樹狀結構中存在固有的解剖結構。例如，腎小管動脈由近端向遠端逐漸變化，各節段的伸長和半徑變化平穩。在我們的系統中使用樹結構的ConvGRU有兩個好處。首先，通過將編碼器提取的特徵反饋給樹結構的ConvGRU，在樹節點之間傳播上下文信息。因此，最終的編碼器不僅可以根據一個節點的特徵進行預測，而且還可以考慮到沿冠狀動脈樹的拓撲變化。其次，如第3.2節所述，每個樹節點可能存在多個分支，在這些特殊的位置，我們的系統能夠對這些轉換進行建模。樹結構的ConvGRU層接受輸入Xj並生成隱藏狀態$H_j=\psi(\chi_j)$。

4.3 Loss function

即所有節點的平均Dice係數

Experiments

我們收集了四家醫院的四個大數據集（共916次CT掃描）。這些合作醫院是從不同地區挑選出來的，代表着醫療環境的多樣性。80%、5%和15%的掃描分別用於訓練、驗證和測試。