1.1 讀懂什麼是DL
深度學習(DL, Deep Learning)是機器學習(ML, Machine Learning)領域中一個新的研究方向，它被引入機器學習使其更接近於最初的目標——人工智能(AI, Artificial Intelligence)。
深度學習其實是一種機器學習的算法：神經網絡，也就是一個複雜的 f函數了。它的特點是可以不斷的疊加層數。每增加一層，其實也就是就多套了一層函數。我們之前的f(x; θ)變成了 f_0(f_1(f_2(…f_n(x:θ_n)…θ_2;θ_1); θ_0)，n爲層數。
層數越多，模型的表達能力就越強。比如說2015年的ResNet它的層數多達152層。隨着AlexNet2012年以來的出現，模型的層數越來越多，也越來越複雜，於是就叫深度學習了。同時深度學習的效果也越來越好，於是幾乎所有領域的最前沿(state-of-art)的算法都變成深度學習方法了，也就變得越來越火了。
深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。
★深度學習和機器學習在處理上的區別——
深度學習和一般機器學習方法最大的優勢不需要進行特徵工程，像房價預測還好說，對於圖像以及文本這樣複雜的數據，人工提取的特徵方法就很受到侷限性。
深度學習的缺點：
深度學習的效果雖然好，但是他的代價也很大，一個深度學習系統需要的訓練數據通常都是巨大的，需要花費大量的代價標註數據。此外，深度學習需要的計算資源也是龐大的，前段時間自然語言處理領域的一個預訓練模型XLNet的效果非常好，不過訓練這個模型的成本就要花掉6萬美金。
★ 注意：
在模型的使用中，深度學習方法如果不通過知識蒸餾等模型壓縮的方法優化模型，預測也是很耗時且耗資源的。即使通過壓縮，很多時候在性能上也無法滿足需求。
1.2 DL介紹 from Wikipedia
定義：深度學習是機器學習的分支，是一種以人工神經網絡爲架構，對數據進行表徵學習的算法。
觀測值（如一幅圖像）可以使用多種方式來表示，如每個像素強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如人臉識別或面部表情識別）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效算法來替代手工獲取特徵。
表徵學習又是什麼？
表徵學習的目標是尋求更好的表示方法並創建更好的模型來從大規模未標記數據中學習這些表示方法。表示方法來自神經科學，並鬆散地創建在類似神經系統中的信息處理和對通信模式的理解上，如神經編碼，試圖定義拉動神經元的反應之間的關係以及大腦中的神經元的電活動之間的關係。
至今已有數種深度學習框架，如①深度神經網絡、②卷積神經網絡和③深度置信網絡和④循環神經網絡已被應用在計算機視覺、語音識別、自然語言處理、音頻識別與生物信息學等領域並獲取了極好的效果。
（在CV和語音識別中特別重要！）
不少深度學習算法都以無監督學習的形式出現，因而這些算法能被應用於其他算法無法企及的無標籤數據，這一類數據比有標籤數據更豐富，也更容易獲得。這一點也爲深度學習贏得了重要的優勢~
DL基本概念——
深度學習的基礎是機器學習中的分散表示。分散表示 假定觀測值是由不同因子相互作用生成。在此基礎上，深度學習進一步假定這一相互作用的過程可分爲多個層次，代表對觀測值的多層抽象。不同的層數和層的規模可用於不同程度的抽象。深度學習運用了這分層次抽象的思想，更高層次的概念從低層次的概念學習得到。這一分層結構常常使用貪心算法逐層構建而成，並從中選取有助於機器學習的更有效的特徵！
深度學習讓人類探索人工智能更進一步了！
1.3 人工神經網絡下的深度學習
一部分最成功的深度學習方法涉及到對人工神經網絡的運用！
該方面的算法有非常非常多，詳見維基百科，會給你講很多歷史。
截止2011年，前饋神經網絡深度學習中最新的方法是交替使用卷積層（convolutional layers）和最大值池化層（max-pooling layers）並加入單純的分類層作爲頂端。訓練過程也無需引入無監督的預訓練！這一方法的GPU實現多次贏得了各類模式識別競賽的勝利！這些深度學習算法也是最先在某些識別任務上達到和人類表現具備同等競爭力的算法···
1.4 三類最常用的深度學習方法
深度學習是一類模式分析方法的統稱，就具體研究內容而言，主要涉及三類方法：
- 基於卷積運算的神經網絡系統，即卷積神經網絡(CNN)。
- 基於多層神經元的自編碼神經網絡，包括自編碼以及近年來受到廣泛關注的稀疏編碼兩類。
- 以多層自編碼神經網絡的方式進行預訓練，進而結合鑑別信息進一步優化神經網絡權值的深度置信網絡(DBN)。
通過多層處理，逐漸將初始的“低層”特徵表示轉化爲“高層”特徵表示後，用“簡單模型”即可完成複雜的分類等學習任務。由此可將深度學習理解爲進行“特徵學習”（feature learning）或“表示學習”（representation learning）。