今天在知乎上看到了一個關於四種Normalization特別有趣的講解，具體的大家可以去讀一下大神的原作，
關於四種Normalization的有趣且深刻的解釋
下面是轉載該作者寫的小故事（轉載地址如上），分享給大家！
爲了能夠更直觀地理解四種Normalization的異同，大家可以體會下面的故事以做類比：
很久很久以前，在遙遠的L國內有一個神奇的理髮館，理髮館裏面有很多勤勞的理髮師，來這裏理髮的顧客也很奇特，他們所有人都會要求理髮師（神經元）理出和其他人差不多長的頭髮（求均值）。那麼和其他人差不多長究竟是多長呢？這可難不倒我們可愛又聰明的理髮師，於是理髮師把自己最近24個小時服務過的顧客（Mini-Batch）進入理髮店時的頭髮長度求個平均值，這個均值就是“和其他人差不多長”的長度。來這裏的每個顧客都很滿意，時間久了，人們尊稱這些理髮師爲：BatchNorm理髮師。
不幸總是突然的，有一天，理髮館裏發生了一件怪事，所有理髮師的記憶只能維持1分鐘，他們再也記不住過去24小時中發生的事情了，自然也記不住過去服務客人的頭髮長度。但是每個顧客仍然要求剪出和其他人差不多長的頭髮長度，這可怎麼辦？聰明的理髮師們又想出了一個辦法：他們相互大聲報出同一時刻在理髮館裏自己手上客人的頭髮長度，每個理髮師就可以用這些人的頭髮長度均值作爲滿足自己手上客人條件的長度。儘管這是一羣得了失憶綜合證的理髮師，但是顧客對他們的服務仍然非常滿意，於是人們改稱他們爲：LayerNorm理髮師。
不幸總是突然的，有一天，理髮館裏又發生了一件怪事，理髮師們不僅得了失憶症，這次都突然失聰，再也聽不到其它理髮師的口頭通知，而固執的客人仍然堅持要理出“和其他人差不多長”的頭髮。對了，忘了介紹了，理髮館是有隔間的，每個隔間有K個理髮師同時給顧客理髮，雖然我們可愛又聰明的理髮師現在失憶又失聰，但是再大的困難也難不倒也叫不醒這羣裝睡的人，他們醒來後羣策羣力又發明了一個新方法：同一個隔間的理髮師通過相互打手勢來通知其它理髮師自己手上顧客的頭髮長度。於是同一個隔間的理髮師又可以剪出顧客滿意的頭髮了。人們稱這些身殘志堅的理髮師爲：GroupNorm理髮師。
不幸總是突然的，有一天，理髮館裏又發生了一件怪事，不過這次不是天災是人禍，理髮館老闆出於好心，給每位理髮師單獨開個辦公室給顧客理髮，但是好心辦了壞事，這樣一來，失憶失聰又無法相互打手勢的理髮師們怎麼應對頑固的顧客呢？怎樣才能繼續理出“和其他人差不多長”的頭髮呢？想必一般人這個時候基本無路可走了，但是我們可愛又聰明，同時失聰又失憶的理髮師仍然想出瞭解決辦法：他們看了看客人頭上的頭髮，發現不同地方有長有短，於是就把同一個客人所有頭髮的平均長度作爲難題的答案（CNN的InstanceNorm）。聽起來這個解決方案匪夷所思，但是出人意料的是，有些客人居然仍然非常滿意。人們管這些傳說中的神奇理髮師爲：InstanceNorm理髮師