深度學習tips筆記

1.Overlapping Pooling ：能夠得到更準確的結果，並且不容易過擬合。

2.Local Response Normalization：tanh和sigmoid的輸出值域有上下界，ReLU這類激活函數得到的值域不是一個區間，所以要對ReLU得到的結果進行歸一化。（參考：https://blog.csdn.net/luoluonuoyasuolong/article/details/81750190）

                                            

          分子爲當前kernel在(x,y)激活後的值，分母中累加的是當前kernel的相鄰的n個kernel在(x,y)激活後的值，AlexNet使用的參數：k=2,n=5,α=10−4,β=0.75。

                       

3.