UFLDL-稀疏字編碼器

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">Andrew Ng的deep learning教程的中文教程，大牛小牛的奉獻的熱情！</span>

http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

神經網絡分監督和無監督（自編碼神經網絡）

（1）神經網絡：其中Wij的指輸入層xj到隱含層xi的傳遞係數；X={x1;x2;...xi};

激活函數有兩種，
sigmoid，y取值爲0~1;tanh的取值爲-1~+1；

                    適用：根據特徵預測輸出，監督和無監督分類，（比如，在醫療診斷應用中，患者的體徵指標就可以作爲向量的輸入值，而不同的輸出值  可以表示不同的疾病存在與否。）

（2）反向傳導算法

Q1：規則化項（權重衰減項）爲什麼減小權重的幅度，可以防止過度擬合？

J(W,b)就是cost function，用於分類和迴歸，分類是利用輸出y的label，擬合x，y就是迴歸的過程。

正向使用梯度下降法迭代更新W和b

反向傳播算法來更新參數

這樣就可以一直重複梯度下降法的迭代步驟來減少代價函數J（W,b）的值，就可以求解神經網絡

PS：關於第四部分，計算最終需要的偏導數值，看不懂這個公式

（3）梯度檢驗與高級優化

索引的缺位錯誤，忘加入偏置項等導致求導結果不對，這一節介紹了檢驗的方法,提高代碼自信心好重要

利用求導定義公式：

（4）自編碼算法與稀疏性

當隱含層比輸入層神經元減少時，學習與PCA結果相似的降維表示可以理解

而當隱含層比輸入層神經元增大時，增加限制條件進行稀疏性表示，只要將反向傳播中的參數換成有懲罰因子的就可以了。

（5）可視化自編碼器訓練結果

要顯出出來訓練的自編碼

隱含層每個神經元都學會在輸入圖像的不同位置和方向進行邊緣檢測

（6）exsice