深度學習
幾個重要的概念：
人工智能：讓機器具備人的思維和意識。
人工智能的三大學派：
1. 行爲主義：基於控制論，構建感知-動作控制系統。
2. 符號主義：基於算術邏輯表達式，求解問題是先把問題描述爲表達式，再求解。
3. 聯結主義：仿生學，模仿神經元連接關係。中心思想：當網絡將大量簡單的計算單元連接在一起時，
可以實現智能行爲。
機器學習：軟件系統需要具備自己獲取知識的能力，即從原始數據中提取模式的能力。
表示學習：使用機器學習來發掘表示本身，而不僅僅把表示映射到輸出，這種方法稱之爲表示學習。
深度學習：通過較簡單的表示來表達複雜表示，解決了表示學習的核心問題（提取高層次，抽象的特徵）。
下圖是不同AI學科之間的關係：
深度學習的發展歷程
現在我們認爲深度學習經歷3次發展浪潮：
第一次浪潮：開始於20世紀40年代-60年代的控制論，隨着生物學習理論的發展（McCulloch and Pitts，1943年；Hebb，1949年）和第一個模型的實現（eg. 感知機(Rosenblatt，1958年)），能實現單個神經元的訓練。
McCulloch-Pitts 神經元是腦功能的早期模型。該線性模型通過檢驗函數 的正負來識別兩種不同類別的輸入。顯然，模型的權重需要正確設置後才能使模型的輸出對應於期望的類別。這些權重可以由操作人員設定。
在 20 世紀 50 年代，感知機 (Rosenblatt, 1956, 1958) 成爲第一個能根據每個類別的輸入樣本來學習權重的模型。約在同一時期，自適應線性單元 (adaptive linearelement, ADALINE) 簡單地返回函數 本身的值來預測一個實數 (Widrow and Hoff, 1960)，並且它還可以學習從數據預測這些數。用於調節 ADALINE 權重的訓練算法是被稱爲隨機梯度下降（stochastic gradient descent）的一種特例。
基於感知機和 ADALINE 中使用的函數 的模型被稱爲線性模型（linear model）。
線性模型有很多侷限，最著名的就是無法學習異或（XOR）函數。線性模型這個缺陷的批評者對受生物學啓發的學習普遍地產生了牴觸（Minsky and Papert，1969年），這導致了神經網絡熱潮的第一次大衰退。
第二次浪潮：開始於1980-1995年見的聯結主義方法，可以使用反向傳播（Rumelhart et al. ,1986a
）訓練具有一兩個隱藏層的神經網絡。
在20世紀80年代，神經網絡研究的第二次浪潮在很大程度上是伴隨一個被稱爲聯結主義（connectionism）或並行分佈處理 ( parallel distributed processing) 潮流而出現的 (Rumelhart et al., 1986d; McClelland et al., 1995)。聯結主義是在認知 科學的背景下出現的。認知科學是理解思維的跨學科途徑，即它融合多個不同的分析層次。在 20 世紀 80 年代初期，大多數認知科學家研究符號推理模型。儘管這很流行，但符號模型很難解釋大腦如何真正使用神經元實現推理功能。聯結主義者開始研究真正基於神經系統實現的認知模型 (Touretzky and Minton, 1985)，其中很多復甦的想法可以追溯到心理學家 Donald Hebb。
聯結主義的中心思想是，當網絡將大量簡單的計算單元連接在一起時可以實現 智能行爲。這種見解同樣適用於生物神經系統中的神經元，因爲它和計算模型中隱 藏單元起着類似的作用。
分佈式表示（distributed representation）(Hinton et al., 1986)。 其思想是：系統的每一個輸入都應該由多個特徵表示，並且每一個特徵都應該參與 到多個可能輸入的表示。
聯結主義潮流的另一個重要成就是反向傳播在訓練具有內部表示的深度神經網絡中的成功使用以及反向傳播算法的普及 (Rumelhart et al., 1986c; LeCun, 1987)。 這個算法雖然曾黯然失色不再流行，它仍是訓練深度模型的主導方法。
在 20 世紀 90 年代，研究人員在使用神經網絡進行序列建模的方面取得了重要進展。Hochreiter (1991b) 和 Bengio et al. (1994a) 指出了對長序列進行建模的一 些根本性數學難題，這將在第10.7節中描述。Hochreiter and Schmidhuber (1997) 引入長短期記憶（long short-term memory, LSTM）網絡來解決這些難題。
基於神經網絡和其他AI技術的創業公司開始尋求投資，其做法野心勃勃但不切實際。當AI研究不能實 現這些不合理的期望時，投資者感到失望。同時，機器學習的其他領域取得了進步。 比如，核方法 (Boser et al., 1992; Cortes and Vapnik, 1995; Schölkopf et al., 1999) 和圖模型 (Jordan, 1998) 都在很多重要任務上實現了很好的效果。這兩個因素導致 了神經網絡熱潮的第二次衰退，並一直持續到 2007 年。
第三次浪潮：開始於2006年神經網絡研究的突破。Geoffrey Hinton 表明名爲深 度信念網絡的神經網絡可以使用一種稱爲貪婪逐層預訓練的策略來有效地訓練 (Hinton et al., 2006a)。神經網絡研究的這一次浪潮普及了 “深度學習’’ 這一術語的使用，強調研究者 現在有能力訓練以前不可能訓練的比較深的神經網絡，並着力於深度的理論重要 性上 (Bengio and LeCun, 2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014）。
下圖展示了神經網絡的發展時間：
經典卷積
LeNet（1998年）—> AlexNet（2012年）—> VGGNet（2014年）—> googLeNet（2014年）—> ResNet（2015年）—> DenseNet（2017年，CVPR, Best paper）
LeNet由Yann LeCun於1998年提出，是卷積網絡的開篇之作。（論文：Gradient-based learning applied to document recognition）。
AlexNet在2012年ImageNet競賽中以超過第二名10.9個百分點的絕對優勢一舉奪冠，從此深度學習和卷積神經網絡名聲鵲起，深度學習的研究如雨後春筍般出現。
VGG-Net是由牛津大學VGG（Visual Geometry Group）提出，是2014年ImageNet競賽定位任務的第一名和分類任務的第二名的中的基礎網絡。VGG可以看成是加深版本的AlexNet。
GoogLeNet在2014的ImageNet分類任務上擊敗了VGG-Nets奪得冠軍。GoogLeNet在加深網絡的同時（22層），也在網絡結構上做了創新，引入Inception結構代替了單純的卷積+激活的傳統操作（這思路最早由Network in Network提出）。
ResNet是2015年何愷明推出的，在ISLVRC和COCO上橫掃所有選手，獲得冠軍。
DenseNet是CVPR 2017最佳論文DenseNet（Dense Convolutional Network）,其主要和ResNet及Inception網絡做對比，思想上有借鑑，但卻是全新的結構，網絡結構並不複雜，卻非常有效，在CIFAR指標上全面超越ResNet。可以說DenseNet吸收了ResNet最精華的部分，並在此上做了更加創新的工作，使得網絡性能進一步提升。