馬爾可夫過程：將來只依賴於現在不依賴於過去的過程。時間和狀態是離散的馬爾可夫過程稱作馬爾可夫鏈。
SVM:支持向量機（support vector mechine)基本模型是在特徵空間上找到最佳的分離超平面使得訓練集上正負樣本間隔最大。SVM是用來解決二分類問題的有監督學習算法，在引入了核方法之後SVM也可以用來解決非線性問題。
前饋神經網絡：最簡單的神經網絡，每個神經元接收前一層的全連接輸入然後輸出到下一層，整個過程無反饋。
BP神經網絡：誤差反向傳播算法(Error Back Propagation Training)，簡稱BP，系統解決了多層神經網絡隱含層連接權學習問題，按照誤差向前傳播的訓練方法訓練的多層前饋神經網絡。
梯度下降算法：用於尋找最小值，梯度的相反方向是函數值下降速度的最快方向，我們相信沿着函數變化最快的方向能更快地找到最小值。
深度學習：深度學習（Deep Learning）是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習是無監督學習的一種。
單層感知機：（PLA)單層感知器的思路是模擬大腦中單個神經元的工作方式：激活與否。感知器接收多個輸入信號，如果輸入信號的和超過某個閾值則輸出一個信號，否則就什麼也不輸出。
多層感知機：（MPL）多層神經網絡，其中包含隱藏層。
激活函數：神經元上運行的函數，將輸入映射爲輸出，激活函數給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到衆多的非線性模型中。
sigmoid函數：1.飽和的神經元會使梯度消失 2.輸入都爲正，不以0爲中心：會修改的效率很低下 3.使用指數函數，運算代價高
超參數：超參數是在開始學習過程之前設置值的參數，而不是通過訓練得到的參數數據。