在前面我們所討論的Rosenblatt感知機，其本質是一個單層神經網絡。但這一網絡侷限於線性可分模式的分類問題。而由Widrow和Hoff(1960)提出的最小均方算法(LMS)也是基於權值可調的單個線性神經元。同樣限制了這一算法的計算能力。爲了克服上述侷限，多層感知機（MLP）應運而生。
多層感知機：
多層感知機的基本特徵：
- 網絡中每個神經元模型包含一個可微的非線性激活函數。
- 網絡中包含一個或多個隱藏在輸入與輸出神經節點之間的層。
- 網絡展示出高度的連接性，其強度由網絡的突觸權值決定的。
訓練感知機的一個流行方法是反向傳播算法，LMS是反向傳播算法的一個特例。訓練分爲如下兩個階段：
1、前向階段：網絡的突觸權值是固定的，輸入信號在網絡中一層一層傳播，直到到達輸出端。其實這一階段就是利用現有的權值以及輸入得到輸出的過程。因此，在這一階段，輸入信號的影響限制在網絡中激活隱藏神經元的輸出神經元上。如上圖所示，箭頭所指方向即是前向傳播方向。
2、反向傳播階段：通過比較網絡的輸出和期望輸出產生的一個誤差信號。得到的誤差信號再次通過網絡一層一層傳播，但是這一次傳播是在反向方向進行的。目的是對於網絡的突觸權值進行不斷的修正。也正是由於反向傳播算法的出現才的得以讓神經網絡算法廣泛應用。
如上圖描繪了多層感知機的一部分。在這個網絡中，兩種信號都能被識別：
1、函數信號：函數信號是從網絡輸入端而來的一個輸入信號（刺激），通過網絡向前傳播，到達網絡輸出端即成爲一個輸出信號。函數信號也被認爲是輸入信號。
2、誤差信號：一個誤差信號產生於網絡的一個輸出神經元，並通過網絡反向傳播。之所以稱之爲誤差信號是由於網絡的每一個神經元對它的計算都以這種或者那種形式涉及誤差依賴函數。
多層感知器每一個隱藏層或輸出層神經元的作用是進行兩種計算：
1、計算一個神經元的輸出處出現的函數信號，它表現爲關於輸入信號以及與該神經元相關連的突觸權值的一個連續非線性函數。
2、計算梯度向量（誤差曲面對於神經元權值的梯度）的一個估計，它需要反向通過網絡。
隱藏神經元扮演着特徵檢測算子的角色；它們在多層感知機的運轉中起着決定性作用。隨着學習過程通過多層感知機不斷進行，隱藏神經元開始逐步“發現”刻畫訓練數據的突出特徵。它們是通過將輸入數據非線性變換到新的特徵空間而實現的。例如，在模式分類問題中，感興趣的類在這個新的空間中可能比原始輸入數據空間中更容易分隔開。甚至，正是通過監督學習形成的這一特徵空間將多層感知機與Rosenblatt感知機分別開來。
批量學習和在線學習：
參考文獻：神經網絡與機器學習（加）S.Haykin著 申富饒 徐燁 鄭俊 晁靜 翻譯
Neural Networks and Learning Machines S.Haykin