Batch normalization和Instance normalization 在域適應問題中的的作用

最近在研究域適應的問題,也是爲了解決,醫學圖像中,數據量不足的問題。我的想法是使用域適應的方法來進行分割。

在研究這個問題的時候我發現,原來我一直認爲的BN算法也是可以應用到域適應這個方面的。其實在域適應這個問題之前還有一個IN算法在風格遷移問上有着廣泛的應用。這兩個有什麼區別呢。我在知乎上面看到一個很好的一個總結。

BN和IN其實本質上是同一個東西,只是IN是作用於單張圖片,但是BN作用於一個batch。但是爲什麼IN還會被單獨提出,而且在Style Transfer的這個任務中大放異彩呢?簡言之,這背後的邏輯鏈是這樣的:
1. 通過調整BN統計量,或學習的參數beta和gamma,BN可以用來做domain adaptation。
2. Style Transfer是一個把每張圖片當成一個domain的domain adaptation問題。

這個總結的非常好。

Batch normalization和Instance normalization的對比?

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章