- 較大的batch_size能夠得到更加精準的梯度估計,但是回報小於線性。
- 較小的batch_size能夠帶來更好的泛化誤差。
- 由於小batch_size再學習過程中帶來了噪聲,會產生一些正則化效果。
- 由於梯度估計的高方差,小batch_size在訓練中需要更小的學習率以保持穩定性,這意味着更長的訓練時間
- 當batch_size設置爲2的次冪時能夠充分利用矩陣運算。
參考《深度學習》8.13
參考《深度學習》8.13
一. 二. 三. ! 作 者 : Yaopengfei(姚鵬飛) 博客地址 : http://www.cnblogs.com
Windows 允許空密碼遠程桌面 開啓遠程 修改策略 輸入命令 secpol.msc 本地策略 -> 安全選項 -> 帳戶:使用空密碼的本地帳戶只允許進行控制檯登錄