CV--對抗思想及其應用

對抗思想的基本配置一般是一個生成器和一個判別器,核心關鍵在於loss的設計,通常,一個loss用於幫助網絡判別兩種輸入,另一個loss用於使得網絡混淆兩種輸入。對抗思想應用非常廣泛,包括生成對抗網絡(GAN),異常檢測(anomaly detection),域自適應(domain adaptation),半監督分割(semi-supervised) 等等。即簡單說,當需要保持兩者一致性時,便可考慮使用對抗學習思想

1.異常檢測

全部用正常樣本訓練生成器,這樣生成器只具有生成正常樣本的能力,當輸入異常樣本後,生成器生成的還是該樣本重構後的正常結果。所以輸入異常樣本時,生成的結果和輸入會有較大差距。通過對比輸入和生成二者之間差距大小,可推斷樣本是否異常,以及異常區域。

(1). 《Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery》
在這裏插入圖片描述
在這裏插入圖片描述
(2). 《GANomaly: Semi-Supervised Anomaly Detection via
Adversarial Training》
在這裏插入圖片描述
(3). 《Skip-GANomaly: Skip Connected and Adversarially Trained Encoder-Decoder Anomaly Detection》
在這裏插入圖片描述
(4).《Cascaded Generative and Discriminative Learning for Microcalcification Detection in Breast Mammograms》
網絡結構圖如下:
在這裏插入圖片描述
級聯的生成器和判別器,生成器用於重構樣本圖片,使用t-test loss用於迫使重構的正類和負類像素拉開β距離的差距,從而區分異常點(正類),後面的判別器用於進一步從異常點中檢測出Microcalcification病竈。
在這裏插入圖片描述

2.域自適應分割

(1). 《Boundary and Entropy-driven Adversarial Learning for Fundus Image Segmentation》
通過對抗思想加強對不同數據集(域)的圖像樣本的邊界(boundary)和不確定區域(entropy)特徵的一致性,以實現更好的域自適應的分割結果。
在這裏插入圖片描述
(2). 《Patch-based Output Space Adversarial Learning for Joint Optic Disc and Cup Segmentation》
首先通過UNet網絡粗糙分割Optic Disc來提取ROI,具體爲以其分割中心crop固定大小塊(512×512)送入後面的分割網絡,得到Optic Disc和Cup的分割結果,然後利用對抗學習,即經過patch discriminator(PatchGAN)來實現分割網絡對來自source domain和target domain的圖片的分割結果分佈的一致性。
在這裏插入圖片描述
(3)《Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation》
結合image alignment 和 feature alignment 做醫學圖像MRI 和 CT 之間的domain adaptation
通過CycleGAN實現image alignment, 同時對生成圖片空間和分割預測空間(下圖最右側)使用對抗損失實現feature alignment.
在這裏插入圖片描述

3.半監督分割

(1).《Adversarial Learning for Semi-Supervised Semantic Segmentation》
在這裏插入圖片描述
(2). 《Collaborative Learning of Semi-Supervised Segmentation and Classification for Medical Images》
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章