機器學習(Machine Learning)
機器學習是人工智能（Artificial Intelligence）的核心。它和統計學有着密不可分的關係。作爲對比，讓我們先來看一看這兩個領域的區別。
傳統的統計學的特點：
- 低維數據；
- 數據中有大量噪點（Noise）；
- 數據中沒有複雜的結構，且所有結構均可以被簡化爲一個相對簡單的模型；
- 面臨的主要問題是如何從數據中分辨出正確的結構。
人工智能的特點：
- 需要處理高維度的數據（超過100維的數據）；
- 如果我們正確處理的話，數據中的噪點將不足以遮蔽數據的結構；
- 數據中存在大量的結構，且這些結構過於複雜，所以無法用簡單的模型代替。
- 面臨的主要問題是如何找到一種方法來描述複雜的結構從而可讓機器來學習。
神經網絡的發展歷史
神經網絡作爲機器學習的一門重要技術，已經經歷了數十年的發展。下面對它做一個簡單的歸納。
第一代神經網絡
感知器（~1960）
感知器（Perceptrons）使用一層手編（Hand-coded）特徵，通過學習如何給這些特徵加權來識別對象。
感知器的優點：調整權值的學習算法很簡潔。
感知器的缺點：感知器一些先天的缺陷，導致它們可以學習的東西大大地受限。
Vapnik和他的同事們發明了大名鼎鼎的支持向量機（SVM），改進了感知器的一些缺陷（例如創建靈活的特徵而不是手編的非適應的特徵），並得到了廣泛的應用。但是歸根到底，它還是一種感知器，所以無法避免感知器的先天限制。
第二代神經網絡
BP（反向傳播，Back-propagate）神經網絡（~1985）
BP神經網絡通常使用梯度法來修正權值。
BP並不是一種很實用的方法。原因有三：
- 它需要被標記的訓練數據，但是幾乎所有的數據都是未標記的。
- 學習時間不易衡量，在多層網絡中，速度非常慢。
- 它陷入局部極小點而不收斂的情況極大。
第三代神經網絡
最近的神經科學研究表明，和人類的許多認知能力相關的大腦皮層，並不顯式地預處理感知信號，而是讓它們通過一個複雜的模塊層次結構，久而久之，就可以根據觀察結果呈現的規律來表達它們。
這一發現促進了深機器學習（DML, Deep Machine Learning）的發展。DML關注的恰恰正是是信息表達的計算模型，和大腦皮層類似。
目前DML領域有兩種主流的方法：
- Convolutional Neural Networks
- Deep Belief Networks。
引用
[1] Y. Bengio, “Learning deep architectures for AI", Found. Trends Mach. Learn., vol. 2, no. 1, pp. 1–127, 2009.
[2] Itamar Arel, Derek C. Rose, and Thomas P. Karnowski, "Deep Machine Learning—A New Frontier in Artificial Intelligence Research", IEEE Comput. Intell. Mag., vol. 5, pp. 13-18, 2010.