神經網絡學習筆記（一）

  

   神經網絡（Neural Networks）是受到人類大腦對於外界事物認知方式的啓發建立的機器學習算法，也叫人工神經網絡（ArtificialNeural Networks）。

   我們先來認識構成神經網絡的基本單元：神經元。

   神經元有三個基礎的構成

 （1）一組連接（類比於生物神經元的樹突），更準確的講是一組輸入。而每一個輸入都會有一個權重進行作用。第k個神經元的第j個樹突接收到的一個輸入xj，那麼這個輸入將被權重wkj作用，其中下標表示第k個神經元的第j個樹突的權重。

 （2）一個調整項bk，所有的輸入完成求和操作後再加上一個常數調整項

 （3）激活函數φ，這個函數用來將求和之後的結果映射到一個合適的範圍。

   上圖所示的神經元K可以用如下的兩個數學公式表示：

      以及

    令

      

    上述公式可以有一個轉換寫成如下形式

         

        

    其中

       

    激活函數的類型：

  （1）閾值函數

     這樣的神經元稱作McCulloch–Pitts模型

  （2）S型函數，最典型也是最常用的激活函數模型爲logistic函數，這種模型很好的平衡了線性與非線性函數

    這個函數模型中a稱作斜率參數當a趨於無窮大時，logistic函數是逼近閾值函數的。如果激活函數輸出的閾值範圍不是0到1，而是-1到1則激活函數可定義爲

或者

（3）神經元的隨機模型

  P(v)的標準選擇爲一個S型函數

  T在這裏是一個控制噪聲或者不確定因素的參數，當T趨於0的時候，這個概率模型基本爲無噪聲的。