Batch Normalization 與 Instance Normalization

歸一化的原因:

歸一化是爲了加快訓練網絡的收斂性,可以不進行歸一化處理 
歸一化的具體作用是歸納統一樣本的統計分佈性。歸一化在0-1之間是統計的概率分佈,歸一化在-1--+1之間是統計的座標分佈。歸一化有同一、統一和合一的意思。無論是爲了建模還是爲了計算,首先基本度量單位要統一,神經網絡是以樣本在事件中的統計分別機率來進行訓練(概率計算)和預測的,歸一化是同一在0-1之間的統計概率分佈; 
當所有樣本的輸入信號都爲正值時,與第一隱含層神經元相連的權值只能同時增加或減小,從而導致學習速度很慢。爲了避免出現這種情況,加快網絡學習速度,可以對輸入信號進行歸一化,使得所有樣本的輸入信號其均值接近於0或與其均方差相比很小。

 

由名字Batch normalization,就知道參與某特定樣本nomalization輸出計算的統計量會受到batch中其他樣本的影響。

而Instance normalization則是由自己計算出的統計量。由於風格轉換的圖片風格之間是比較獨立的,所以應使用instance normalization

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章