Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation-筆記

本文結合activate learningbootstrap
網絡結構如圖:
這裏寫圖片描述
操作過程如下:首先使用少量的標註的數據進行訓練網絡,然後輸入未標記的數據,根據提取的有用信息記錄需要標記的數據,然後進行標記。下一個階段使用現在可利用的標記好的所有數據進行訓練,一直循環。挑戰就是如何將進行信息提取的FCNs和deep active learning framework(分割網絡)結合。
來自FCNs的挑戰:1,FCNs需要快速訓練,使得標註stages之間的時間是可以接受的;2,FCNs需要具有通用性,當訓練數據極少時能夠產生合理的結果。網絡結構如圖:
這裏寫圖片描述
來自active learning的挑戰:當決定下一個batch所需要的訓練數據時,active learning需要很好的利用FCNs得到的信息。爲了這個目的,我們首先證明如何基於bootstrapping估計FCNs的不確定性,和使用FCNs的編碼部分的最後一層來估計圖像之間的相似性。根據這些信息,我們能夠給下一個訓練stage決定使用的訓練數據。
本文的方法主要由3部分組成:1,新的FCN;2,對FCNs的不確定性和相似性的估計;3,選擇最有效訓練數據的建議算法。

1. A new fully convolutional network

網絡框架如圖2。網絡有兩個輸出,一個是用來分割,一個是用來做圖像描述器。

2. Uncertainty estimation and similarity estimation

只使用不確定性會導致重複選擇需要標註區域,所以還需要選擇具有高度表達性的樣本(這些樣本和許多其它的樣本很相似)。Bootstrapping[4]是一種標準的方法用來評估學習模型的不確定性。基本思想就是使用訓練集的子集(通過重置抽樣得到,重置抽樣就是又放回抽樣)來訓練一系列模型,然後計算這些模型的差異(variance,disagreement)。我們根據這個方法計算FCNs的不確定性。
這裏寫圖片描述
如圖3(d),顯示了每個像素的不確定性和測試誤差具有極強的相關性。最後計算每個訓練樣本整體的不確定性作爲它像素的平均不確定性。
現在能夠計算不確定性,接下來計算圖片之間的相似性。我們求取FCNs最後一個卷積層的輸出的每個通道的平均值作爲圖片描述器的輸出。通過計算這個輸出的餘弦相似性來計算圖片的相似性。爲什麼這麼選擇圖片描述器呢?是因爲1,我們不需要專門訓練一個圖片描述器;2,因爲圖片提取圖片描述的網絡是用來進行分割的,這個輸出具有豐富和精確的形狀信息。

3. Annotation suggestion

數據的不確定性指,這個數據很難分割;
數據具有表達性是指,數據具有儘可能多的非標註數據的characteristics或者features。
我們選出的數據需要具有這兩個性質。因爲不確定性相對於重要,我們首先選取K個最大的具有不確定性的子集,然後從這K個樣本中選取k個最具表達性的樣本(k

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章