神經網絡學習筆記（八）:線性迴歸模型（下）

  在前面我們所討論的Rosenblatt感知機是解決線性可分模式分類問題的第一個學習算法。而由Widrow和Hoff(1960)提出的最小均方算法(LMS)是第一個解決如預測和信道均等化等問題的線性自適應濾波算法。

LMS算法結構：

  與感知機結構類似，該算法也是有M維輸入以及單一輸出構成的數據集：

  其中

                                                        

  由於LMS考慮的模型輸出神經元是線性的（這是與感知機算法在模型上最大的不同，感知機最終的輸出並不一定是線性的），則：

  神經元的輸出與系統在i時刻的輸出作比較得到了誤差信號：

 

  如，信號圖所示，每次計算這個誤差信號來調節權重向量。

  在這裏我們再來看一下LMS與感知機，最小二乘法的聯繫與區別：感知機與LMS在模型的神經元輸入輸出的關係上不同，一個非線性，一個線性；但是都是通過誤差信號來單步調節權重；LMS算法與最小二乘法都是通過誤差信號來解出線性權重，但是最小二乘法是基於全部數據的誤差信號來計算權重，更偏重於統計學的概念，用統計的思路求解，這就是爲什麼上節要通過概率統計的概念推導最小二乘法。

  這裏再多說一句，LMS算法每次的誤差信號都可以調節權重一次，這就是爲什麼該算法稱爲自適應算法，因爲來一組數據就可以調節自身權重一次。

LMS算法步驟：

  

  LMS算法是建立在極小化代價函數的瞬時值，代價函數爲：

這裏e(n)是n時刻測得的誤差信號。把代價函數對權值向量w求微分得

誤差信號可以表示爲：

因此代價函數梯度向量的瞬時估計爲：

根據最速下降法可得權重向量的迭代公式：

  這與筆記(五)結尾處對感知機迭代算法關於梯度的分析是不是非常相似，都是梯度下降法；可見這兩種單步自適應迭代都是類似於最速下降法得到的算法。這也很好理解，對於無約束最優化問題，最速下降法最簡便也比較有效。

  最後給出LMS算法的僞碼