本文參考自: 原文地址
1、深度學習（Deep Learning）：
是建立在計算機神經網絡理論和機器學習理論上的系統科學，它使用建立在複雜的機器結構上的多處理層，結合非線性轉換方法算法，對高層複雜數據模型進行抽象。
深度學習有兩大要素：
（1）數據表示：數據是機器學習的基本要素，也是神經輸入網進行反饋的源頭。數據的表示和建模對深度學習的性能有着很大的影響。目前關於數據表示，有局部表示、分佈表示和稀疏分佈表示。
（2）特徵提取方法：高斯伯努利模型是特徵模型的範例，用來提取數據特徵。未來的特徵算法研究將主要集中在自適應的特徵提取和自動編碼機制等方面。在提取特徵的邏輯層方面，經典的有樹結構和圖結構。
2、反向傳播（
BackPropagation
）算法：
（1）定義：
BP 神經網絡（如圖1）是按誤差逆傳播算法訓練的多層前饋神經網絡，它存儲大量映射模式關係，無需揭示其映射方程。 BP 算法的核心思想是採用最速下降法（梯度下降法），通過反向傳播調試網絡的權值和閾值，使得其誤差平方和最小。通過數學推導，得出誤差逆傳播算法的主要特點是：連接權重與學習模式誤差成比例變化。
（2）優缺點：
BP 網絡所提供的 BP 算法，有着一定的非線性映射能力、多層前饋網的泛化能力和樣本容錯能力。但是由於其學習速率是固定的，網絡的收斂速度很慢，對於複雜問題難以高效解決。其次， BP 算法可以使權值收斂到某個值，但是不能保證其爲誤差平面的最小值，因爲梯度下降方法所求的是局部最小值。同時，隱含層和單元選擇沒有固定的要求，因此會產生一定的冗餘。
3、卷積神經網絡（
Convolutional Neural Network
）：
CNN 的基本結構包括兩層：其一爲特徵提取層，神經元的輸入層與前一層的局部連接域相連從而提取特徵，提取完畢之後每個特徵也會相互確立穩定的關係。其二是特徵映射層，計算層由特徵映射層組成，每個特徵映射是一個平面，平面上所有神經元共享權值。共享權值的思想也是CNN 的獨特之處。這種雙層特徵提取結構有效提高了特徵的分辨率。
4、玻爾茲曼機（Boltzmann Machines）：
一種隨機遞歸神經網絡，也可以看做是隨機的 Hopfield 神經網絡，因樣本分佈遵循玻爾茲曼分佈。
（
Hopfield神經網絡：是一種遞歸神經網絡，是一種結合存儲系統和二元系統的神經網絡，保證了向局部極小的收斂，但收斂到錯誤的局部極小值，而非全局極小的情況也可能發生。）
5、受限玻爾茲曼機（Restricted Boltzmann Machines）：
RBM 是一個雙向概率圖模型，只有可見層節點與隱層節點之間有連接權，可見層節點與可見層節點與隱層節點之間沒有連接權。各層內部神經元之間沒有連接，很大程度上提高了網絡訓練與學習的效率。在構造深度置信網絡（DBN）時都是先構造出 RBM，再將某些 RBM 堆棧起來得到 DBN。
（
深度置信網絡（Deep Belief Network）：DBN，是神經網絡的一種，既可以用於非監督學習，類似於一個自編碼機；也可以用於監督學習，作爲分類器來使用。）
（
無監督學習（ Unsupervised Learning）：在未加標籤的數據中，試圖找到隱藏的結構。提供給學習者的實例是未標記的，因此沒有錯誤或報酬信號來評估潛在的解決方案。）
（
監督學習（ Supervised Learning）：利用一組已知類別的樣本調整分類器的參數，使其達到所要求性能的過程。）
（
分類器（Classifier）：
分類器是數據挖掘中對樣本進行分類的方法的統稱，包含決策樹、邏輯迴歸、樸素貝葉斯、神經網絡等算法。）
（
樣本（specimen）：統計學概念，總體中抽取的所要考查的元素總稱，樣本中個體的多少叫樣本容量。）
（
數據挖掘（
Data Mining
）：一般是指從大量的數據中通過算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。）
6、感知器（Perceptron）：它可以被視爲一種最簡單形式的前饋式人工神經網絡，是一種二元線性分類器。
多層感知器（MLP，Multilayer Perceptron）
將輸入的多個數據集映射到單一的輸出的數據集上。
7、深度神經網絡（Deep Neural Network）：DNN，
深度神經網絡從結構上講與傳統的多層
感知機
沒有什麼不同，並且在做有
監督學習
時算法也是一樣的。唯一的不同是這個網絡在做有監督學習前要先做非監督學習，然後將非監督學習學到的
權值
當作有監督學習的初值進行訓練。
8、神經網絡（Neural Network）：
人工神經網絡的簡稱，通過模仿動物神經網絡行爲特徵，進行分佈式並行信息處理的算法數學模型。這種網絡依靠系統的複雜程度，通過調整內部大量節點之間相互連接的關係，從而達到處理信息的目的。神經網絡的學習是一個過程，在其所處環境的激勵下，相繼給網絡輸入一些樣本模式，並按照一定的規則（學習算法）調整網絡各層的權值矩陣，待網絡各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網絡來對真實數據做分類。
9、支持向量機（
Support Vector Machine
）：
SVM，是常見的一種判別方法。在機器學習領域，是一個有監督的學習模型，通常用來進行模式識別、分類以及迴歸分析。
SVM可以概括爲兩點：
（1）它是針對線性可分情況進行分析，對於線性不可分的情況，通過使用非線性
映射
算法將低維輸入空間線性不可分的樣本轉化爲
高維
特徵空間使其線性可分，從而使得高維特徵空間採用線性算法對樣本的非線性特徵進行線性分析成爲可能。
（2）它基於結構風險最小化理論之上在特徵空間中構建最優超平面，使得學習器得到全局最優化，並且在整個樣本空間的期望以某個概率滿足一定上界。
