LRN（局部響應歸一化）

原理：

LRN層模仿了生物神經系統的“側抑制”機制，對局部神經元的活動創建競爭環境，使得其中響應比較大的值變得相對更大，並抑制其他反饋較小的神經元，增強模型的泛化能力。
LRN對於ReLU這種沒有上限邊界的激活函數會比較有用，因爲它會從附近的多個卷積核的響應中挑選比較大的反饋，但不適合Sigmoid之中有固定邊界並且能抑制過大值的激活函數。

• $b_{x,y}^i$是歸一化後的值。
• $a_{x,y}^i$表示第i個核位置（x，y）運用ReLU非線性化神經元輸出。
  總的來說，上述公式是輸入除以一個係數來達到歸一化的目的，公式的核心在於該係數的計算，該係數的意義是不同通道（feature
  map）的累加平方和。

該層還需要參數：

• n: 臨近的feature map 數目，用於表示局部區域的大小，注意，這裏的區域指的是一維區域，區別於圖像中某像素點的臨近像素。
• N：通道（featrure map）總數（這裏的通道不是圖像的通道，而是指不同的kernal生成的feature map）
• $\alpha$： 縮放因子
• $\beta$：指數項

例如：
$i$ = 10, $N$= 96, $n$ = 4.
當求第10個卷積核在位置x,y處特徵爲a，那麼該處的局部響應爲a除以第8,9,10,11,12個卷積核在x，y處特徵平方和。