（轉載）（牆裂推薦）（系列文章）神經網絡的基本工作原理

作者：SoftwareTeacher 
來源：CSDN 
原文：https://blog.csdn.net/SoftwareTeacher/article/details/83991254 
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！

--------------------- 尊重別人的腦動成果---------------------

看過很多博客、文章，東一榔頭西一棒子的，總覺得沒有一個系列的文章把問題從頭到尾說清楚，找東西很困難。有的博客、文章的質量還不算很理想，似是而非，或者重點不明確，或者直接把別人的博客抄襲過來…種種不靠譜，讓小白們學習起來很困難，增加了學習曲線的陡峭程度。當然也有很多博主非常非常負責任，文章質量很高，只是連續度不夠，正看得過癮的時候，沒有後續章節了。

從本文開始，我們試圖用一系列博客，講解現代神經網絡的基本知識，使大家能夠從真正的“零”開始，對神經網絡、深度學習有基本的瞭解，並能動手實踐。這是本系列的第一篇，我們先從神經網絡的基本工作原理開始講解。

神經元細胞的數學計算模型

神經網絡由基本的神經元組成，下圖就是一個神經元的數學/計算模型，便於我們用程序來實現。

輸入

(x1,x2,x3) 是外界輸入信號，一般是一個訓練數據樣本的多個屬性，比如，我們要識別手寫數字0~9，那麼在手寫圖片樣本中，x1可能代表了筆畫是直的還是有彎曲，x2可能代表筆畫所佔面積的寬度，x3可能代表筆畫上下兩部分的複雜度。

(W1,W2,W3) 是每個輸入信號的權重值，以上面的 (x1,x2,x3) 的例子來說，x1的權重可能是0.5，x2的權重可能是0.2，x3的權重可能是0.3。當然權重值相加之後可以不是1。

還有個b是幹嗎的？一般的書或者博客上會告訴你那是因爲y=wx+b y=wx+by=wx+b，b是偏移值，使得直線能夠沿Y軸上下移動。這是用結果來解釋原因，並非b存在的真實原因。從生物學上解釋，在腦神經細胞中，一定是輸入信號的電平/電流大於某個臨界值時，神經元細胞纔會處於興奮狀態，這個b實際就是那個臨界值。亦即當：

該神經元細胞纔會興奮。我們把t挪到等式左側來，變成(−t) (-t)(−t)，然後把它寫成b，變成了：
 

於是b誕生了！

 

求和計算

激活函數

求和之後，神經細胞已經處於興奮狀態了，已經決定要向下一個神經元傳遞信號了，但是要傳遞多強烈的信號，要由激活函數來確定：

                                                                     A=σ(Z)              A=\sigma{(Z)}

如果激活函數是一個階躍信號的話，那受不了啊，你會覺得腦子裏總是一跳一跳的，像繼電器開合一樣咔咔亂響，所以一般激活函數都是有一個漸變的過程，也就是說是個曲線。
 

激活函數的更多描述在後續的博客中。

至此，一個神經元的工作過程就在電光火石般的一瞬間結束了。

 

 

神經網絡的基本訓練過程

單層神經網絡模型

這是一個單層的神經網絡，有m個輸入 (這裏m=3)，有n個輸出 (這裏n=2)。在單個神經元裏，b是個值。但是在神經網絡中，我們把b的值永遠設置爲1，而用b到每個神經元的權值來表示實際的偏移值，亦即(b1,b2)，這樣便於矩陣運算。也有些作者把b寫成x0，其實是同一個意思，只不過x0用於等於1。

• (x1,x2,x3)是一個樣本數據的三個特徵值
• (w11,w12,w13)是(x1,x2,x3)到n1的權重
• (w21,w22,w23)是(x1,x2,x3)到n2的權重
• b1是n1的偏移
• b2是n2的偏移

從這裏大家可以意識到，同一個特徵x1，對於n1、n2來說，權重是不相同的，因爲n1、n2是兩個神經元，它們完成不同的任務（特徵識別）。這就如同老師講同樣的課，不同的學生有不同的理解。

而對於n1來說，x1，x2，x3輸入的權重也是不相同的，因爲它要對不同特徵有選擇地接納。這就如同一個學生上三門課，但是側重點不同，第一門課花50%的精力，第二門課30%，第三門課20%。

訓練流程

從真正的“零”開始學習神經網絡時，我沒有看到過一個流程圖來講述訓練過程，大神們寫書或者博客時都忽略了這一點，我在這裏給大家畫一個簡單的流程圖：

損失函數和反向傳播的更多內容在後續的博客中。

前提條件

1. 首先是我們已經有了訓練數據，否則連目標都沒有，訓練個啥？
2. 我們已經根據數據的規模、領域，建立了神經網絡的基本結構，比如有幾層，每一層有幾個神經元
3. 定義好損失函數來合理地計算誤差

步驟

假設我們有以下訓練數據樣本：

其中，x1，x2，x3是每一個樣本數據的三個特徵值，Y是樣本的真實結果值，

1. 隨機初始化權重矩陣，可以根據高斯分佈或者正態分佈等來初始化。這一步可以叫做“蒙”，但不是瞎蒙。
2. 拿一個或一批數據作爲輸入，帶入權重矩陣中計算，再通過激活函數傳入下一層，最終得到預測值。在本例中，我們先用Id-1的數據輸入到矩陣中，得到一個A值，假設A=5
3. 拿到Id-1樣本的真實值Y=3
4. 計算損失，假設用均方差函數 Loss=(A−Y)2=(5−3)2=4 
5. 根據一些神奇的數學公式（反向微分），把Loss=4這個值用大喇叭喊話，告訴在前面計算的步驟中，影響A=5這個值的每一個權重矩陣，然後對這些權重矩陣中的值做一個微小的修改（當然是向着好的方向修改，這一點可以用數學家的名譽來保證）
6. 用Id-2樣本作爲輸入再次訓練（goto 2）
7. 這樣不斷地迭代下去，直到以下一個或幾個條件滿足就停止訓練：損失函數值非常小；迭代了指定的次數；

訓練完成後，我們會把這個神經網絡中的結構和權重矩陣的值導出來，形成一個計算圖（就是矩陣運算加上激活函數）模型，然後嵌入到任何可以識別/調用這個模型的應用程序中，根據輸入的值進行運算，輸出預測值。

 

 

神經網絡中的矩陣運算

下面這個圖就是一個兩層的神經網絡，包含隱藏層和輸出層：

 

神經網絡爲什麼能普遍適用

單層的神經網絡能夠模擬一條二維平面上的直線，從而可以完成線性分割任務。而理論證明，兩層神經網絡可以無限逼近任意連續函數。

比如下面這張圖，二維平面中有兩類點，紅色的和藍色的，用一條直線肯定不能把兩者分開了。

我們使用一個兩層的神經網絡可以得到一個非常近似的結果，使得分類誤差在滿意的範圍之內。而這個真實的連續函數的原型是：

                                                            y=0.4x2+0.3xsin(15x)+0.01cos(50x)−0.3

哦，my god! 這麼複雜的函數，一個兩層的神經網絡是如何做到的呢？其實從輸入層到隱藏層的矩陣計算，就是對輸入數據進行了空間變換，使其可以被線性可分，然後輸出層畫出了一個分界線。而訓練的過程，就是確定那個空間變換矩陣的過程。因此，多層神經網絡的本質就是對複雜函數的擬合。我們可以在後面的試驗中來學習如何擬合上述的複雜函數的。
 

 

爲什麼需要激活函數

爲什麼我們不能在沒有激活輸入信號的情況下完成神經網絡的學習呢？

如果我們不運用激活函數的話，則輸出信號將僅僅是一個簡單的線性函數。線性函數一個一級多項式。現如今，線性方程是很容易解決的，但是它們的複雜性有限，並且從數據中學習複雜函數映射的能力更小。一個沒有激活函數的神經網絡將只不過是一個線性迴歸模型（Linear regression Model）罷了，它功率有限，並且大多數情況下執行得並不好。我們希望我們的神經網絡不僅僅可以學習和計算線性函數，而且還要比這複雜得多。同樣是因爲沒有激活函數，我們的神經網絡將無法學習和模擬其他複雜類型的數據，例如圖像、視頻、音頻、語音等。這就是爲什麼我們要使用人工神經網絡技術，諸如深度學習（Deep learning），來理解一些複雜的事情，一些相互之間具有很多隱藏層的非線性問題，而這也可以幫助我們瞭解複雜的數據。

那麼爲什麼我們需要非線性函數？

非線性函數是那些一級以上的函數，而且當繪製非線性函數時它們具有曲率。現在我們需要一個可以學習和表示幾乎任何東西的神經網絡模型，以及可以將輸入映射到輸出的任意複雜函數。神經網絡被認爲是通用函數近似器（Universal Function Approximators）。這意味着他們可以計算和學習任何函數。幾乎我們可以想到的任何過程都可以表示爲神經網絡中的函數計算。
而這一切都歸結於這一點，我們需要應用激活函數f（x），以便使網絡更加強大，增加它的能力，使它可以學習複雜的事物，複雜的表單數據，以及表示輸入輸出之間非線性的複雜的任意函數映射。因此，使用非線性激活函數，我們便能夠從輸入輸出之間生成非線性映射。
激活函數的另一個重要特徵是：它應該是可以區分的。我們需要這樣做，以便在網絡中向後推進以計算相對於權重的誤差（丟失）梯度時執行反向優化策略，然後相應地使用梯度下降或任何其他優化技術優化權重以減少誤差。

 

深度神經網絡與深度學習

兩層的神經網絡雖然強大，但可能只能完成二維空間上的一些曲線擬合的事情。如果對於圖片、語音、文字序列這些複雜的事情，就需要更復雜的網絡來理解和處理。第一個方式是增加每一層中神經元的數量，但這是線性的，不夠有效。另外一個方式是增加層的數量，每一層都處理不同的事情。

淺神經網絡雖然具備了反向傳播機制，但是仍存在問題：

1. 梯度越來越疏，從後向前，誤差校正信號越來越微弱
2. 隨機初始化會導致訓練過程收斂到局部最小值
3. 需要數據帶標籤(人工label好的數據)，但是大部分數據沒標籤

Deep Learning的訓練過程簡介

1. 使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：採用無標籤數據（有標籤數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網絡區別最大的部分（這個過程可以看作是feature learning過程）。具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作爲第n層的輸入，訓練第n層，由此分別得到各層的參數；
2. 自頂向下的監督學習（就是通過帶標籤的數據去訓練，誤差自頂向下傳輸，對網絡進行微調）：基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。

 

--------------------- 尊重別人的腦動成果--------------------
作者：SoftwareTeacher 
來源：CSDN 
原文：https://blog.csdn.net/SoftwareTeacher/article/details/83991254 
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！

系列文章目錄

https://blog.csdn.net/SoftwareTeacher/article/details/84138773