深度學習與神經網絡的異同

1 相同點:
二者均採用分層結構,系統包括輸入層,隱藏層(多層),輸出層組成的多層網絡,只有相鄰層節點之間有連接,同一層以及跨層節點之間相互無連接,每一層都可以看作是一個logistic迴歸模型。
2 不同點:
(1)神經網絡:特徵映射到值,特徵是人工挑選的。
輸入層->多層隱藏層->輸出層 其輸出層的維度與輸入層一樣
(a)採用BP算法調整參數,即採用迭代式算法來訓練整個網絡。隨機設定初值,計算當前網絡的輸出,然後根據當前輸出和樣本真實標籤之間的差去改變前面各層的參數,直到收斂;

(b)比較容易過擬合,參數比較難調整,而且需要不少的技巧。

(c)訓練速度比較慢。在成熟比較少(小於等於3)的情況下效果並不比其他方法更優;

(2)深度學習: 信號->特徵->值。 特徵是由網絡自己選擇。
輸入層 - 卷積層 -降維層(採樣層) -卷積層 - 降維層 – … – 隱藏層 -輸出層 輸出層的維度要比輸入層的維度小很多(卷積降維)
從廣義上說深度學習的網絡結構也是多層神經網絡的一種。傳統意義上的多層神經網絡是隻有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定,沒有明確的理論推導來說明到底多少層合適。
  而深度學習中最著名的卷積神經網絡CNN(由手工設計卷積核變成自動卷積核)。在原來多層神經網絡的基礎上,加入了特徵學習部分,這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層(採樣層)。其中卷積層和降維層是對輸入信號的加工,連接層(隱藏層)是實現與輸出目標之間的映射。每個卷積層都包含多個特徵映射,因此可以將深度學習理解爲特徵學習或表示學習。特徵學習通過機器學習技術自身來產生好特徵,這使得機器學習向“全自動數據分析”又前進了一步。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章