吳恩達深度學習學習筆記——C2W1——神經網絡優化基礎及正則化-2

 

1.6 Dropout 正則化

Dropout（丟棄，失活）正則化：隨機選擇一些神經元（計算節點），讓其值清零（zero out），相當於從網絡中隨機刪除一些神經元，從而降低網絡複雜度，降低過擬合

Inverted dropout（反向失活）的實現

 

僅需在訓練時進行dropout，測試時不需要

 

 

1.7 理解 Dropout

爲什麼dropout有用？直觀理解：任何一個特徵都有可能被隨機地“消除”，必須將權重分散到各個神經元，從而起到壓縮權重(shrink weights)的作用。（注：這段描述不是很理解）

 

1.8 其他正則化方法

數據增廣（利用現有數據，創建新數據，擴增訓練集，防止過擬合）

早停（提前停止迭代，訓練準確度會下降，但驗證集準確度反而會提高，即，防止了過擬合）

早停的不好之處：將成本函數的優化和防止過擬合這兩個任務耦合在了一起，並不符合通用的“正交化”方法，即將成本函數優化和過擬合看作兩個互不相干的任務，分開執行

 

 

1.9 數據歸一化（規範化）

訓練集的歸一化示例

1. 零均值化——訓練集特徵值減去其平均值
2. 求特徵值平方均值
3. 零均值化後的特徵值除以特徵值平方均值

 

爲什麼需要歸一化輸入值（特徵值）？

可以提高訓練速度