Normalization是爲解決數據間獨立同分布問題而提出的，獨立指的是去除特徵之間的關聯性，同分布指的是使所有特徵具有相同的均值和方差，Internal Covariate Shift 指的是源空間和目標空間條件概率一致，但邊緣概率不一致。Normalization做簡單的白化處理，即在數據送入神經元之前對其做平移和伸縮變化，
假設每個Batch的輸入爲N×C×H×W，其中N代表每個Batch中的樣本數，C代表每個樣本中的通道數，H代表樣本的長，W代表樣本的寬。將輸入中的參數看做書本，即N代表有書本的數量，C代表書本的頁數，H代表書本的長度或行數，W代表書本的寬度或列數。
BN指將每本書對應的頁碼相加並且求均值，得到了一個平均書，即除以N×H×W，使得每個Batch中的樣本都歸一化，即減去均值併除以方差，使其分佈穩定在均值爲0，方差爲1。並引入兩個參數做線性變化，保留原始輸入特徵的分佈信息。
BN的缺點：對Batchsize大小敏感，若太小無法代表整個數據集的分佈；BN適用於CNN，不適用預RNN。
LN指將同一本書所有頁碼對應的字相加並求均值，得到了一個平均字，即除以C×H×W，獨立於Batchsize。同時也引入兩個參數做線性變化，保留原始輸入特徵的分佈信息。
LN可應用於RNN中，在每個時間片中做歸一化。LN針對單個訓練樣本進行，不依賴於其他數據。
IN指在一個樣本的一個通道內做歸一化。
GN指將每本書分成好幾個章節，每個章節包含許多頁，然後對每個章節做LN。當G=1，GN=LN；當G=C，GN=IN；GN比LN更加靈活，比IN擁有更多通道信息。
補充：BN對不同樣本的同一特徵做歸一化，而LN對同一樣本的不同特徵做歸一化；BN比LN更優，因爲不同數據同一特徵得到的歸一化特徵更不易丟失。