深度學習筆記：什麼是神經網絡

定義

人工神經網絡（英語：Artificial Neural Network，ANN），簡稱神經網絡（Neural Network，NN）或類神經網絡，在機器學習和認知科學領域，是一種模仿生物神經網絡（動物的中樞神經系統，特別是大腦）的結構和功能的數學模型或計算模型，用於對函數進行估計或近似。神經網絡由大量的人工神經元聯結進行計算。大多數情況下人工神經網絡能在外界信息的基礎上改變內部結構，是一種自適應系統，通俗的講就是具備學習功能。現代神經網絡是一種非線性統計性數據建模工具。

由定義可以得知，人工神經網絡是一種統計模型，一個神經化的統計模型應該具有以下特徵：

• 具有一組可以被調節的權重（被學習算法調節的數值參數）
• 可以估計輸入數據的非線性函數關係

權重可以看作是生物學中突觸與神經元之間的連接強度。

神經元

• a1~an是輸入向量的各個分量
• w1~wn是連接神經元的各個突觸的權重
• b是偏置
• f是激活函數
• y是神經元的輸出

這個神經元的數學表達式爲：$\mathit{y=f（\vec{w}\vec{A}+b）}$
可見，一個神經元的功能是求得輸入向量與權向量的內積後，經一個非線性傳遞函數得到一個標量結果。單個神經元的作用就是把一個n維向量空間用一個超平面分割成兩部分（稱之爲判斷邊界），給定一個輸入向量，神經元可以判斷出這個向量位於超平面的哪一邊。

神經網絡

單層神經元網絡

單層神經元網絡是最基本的神經網絡形式

神經網絡的輸出是一個多維的向量，維數等於神經元的數目

多層神經元網絡

多層神經元網絡有以下基本結構組成

• 輸入層（Input layer），衆多神經元（Neuron）接受大量非線形輸入消息。輸入的消息稱爲輸入向量。
• 輸出層（Output layer），消息在神經元鏈接中傳輸、分析、權衡，形成輸出結果。輸出的消息稱爲輸出向量。
• 是輸入層和輸出層之間衆多神經元和鏈接組成的各個層面。隱層可以有一層或多層。隱層的節點（神經元）數目不定，但數目越多神經網絡的非線性越顯著，從而神經網絡的強健性（robustness）（控制系統在一定結構、大小等的參數攝動下，維持某些性能的特性）更顯著。習慣上會選輸入節點1.2至1.5倍的節點。