神經網絡學習筆記（五）:感知機

  感知機在神經網絡發展的歷史上佔據着重要的位置：它是第一個從算法上完整描述的神經網絡。它的發明者Rosenblatt是一位心理學家。

  感知機是用於線性可分模式（即不同的類別可由超平面完全分割）分類的最簡單的神經網絡模型，基本上它是由一個具有可調突觸權值和偏置的神經元組成。用來調節這個神經網絡中的自由參數的算法最早出現在Rosenblatt提出的用於其腦感知模型的一個學習過程中。事實上，Rosenblatt證明了當用來訓練感知器的向量取自兩個線性可分的類時，感知器算法是收斂的，並且決策面是位於兩類之間的超平面。算法的收斂性證明稱爲感知器收斂定理。

感知機：

  感知機是建立在一個非線性神經元上，比如使用閾值函數作爲激活函數（見筆記一的概念）的McCulloch–Pitts模型，這裏的閾值函數我們選擇符號函數，激活函數輸入爲正時，神經元輸出爲1，反之，爲-1。

           

   其中

  

   φ爲激活函數，或者叫做硬限幅器（限制輸出範圍），感知機的目的是把外部作用刺激  正確分爲與兩類。分類規則是：如果感知器輸出y是+1就將  表示的點分配給類，反之，分配給。進一步在由 構成的m維空間中，畫出分類超平面，該超平面爲

  位於邊界線上方的分入類，位於邊界線下方的點分入類。權重可由多次迭代來確定。

感知機自適應學習算法：

  爲了導出感知機的誤差修正學習算法，這裏將使用等價的模型：

  在對模型做了等價變換之後， 爲一個超平面，將兩個不同的類區分開來的決策面。

  爲了使感知機可以正確的工作兩個類必須是線性可分的，如果是非線性可分的，這種情況就超出了感知機的計算能力。

  假設感知機的輸入來自兩個線性可分的類， 爲訓練向量   組成的集合，爲的子集；爲訓練向量  組成的集合，爲的子集。與構成整個訓練集，訓練過程的目的是找到W使得:

  使感知器的權值向量自適應的算法現在可以用以下公式來表述：

  1、如果訓練集合的第n個向量X(n)在第n次迭代的過程中可以正確分類，則W(n)不變：

       （1.1）

  2、否則，感知機的權值向量將進行如下修改：

        （1.2）

  這裏的學習率參數η(n)控制着第n次迭代中作用於權值向量的調節。

  假如η(n)=η>0，這裏η是與n無關的常數，則稱爲感知機固定增量自適應規則。

  在下一節中，我們將首先證明當η=1時固定增量自適應規則的收斂性。很顯然，η的具體值並不重要，只要他是正的。對於η≠1時，並不影響η·X(n)與W(n)作用後的±符號，只是在原來的訓練向量上做了個線性縮放而已。

  在這裏，先跳過定理的證明對公式(1.2)做一個形象的解釋，由於迭代過程中發生了與我們期望的不一致，即±符號相反，那如果這時結果爲正，就需要選擇一個下降方向來進行迭代，使得符號往負方向上走，同理，如果結果爲負，需要找個上升方向來進行迭代。而又由於  ，則下降的時候選擇-X，上升時選擇+X。或者將W(n+1)替換中的W(n)直觀的觀察上升下降結果。