吳恩達機器學習第八章【Neural Networks: Representation】

吳恩達機器學習第八章【Neural Networks: Representation】

Non-linear Hypotheses【非線性假設】

我們之前學的，無論是線性迴歸還是邏輯迴歸都有這樣一個缺點，即：當特徵太多時，計算的負荷會非常大。

例如大於100個變量，我們希望用這100個特徵來構建一個非線性的多項式模型，結果將是數量非常驚人的特徵組合，即便我們只採用兩兩特徵的組合$(x_1x_2+x_1x_3+x_1x_4+...+x_2x_3+x_2x_4+...+x_{99}x_{100})$，我們也會有接近5000個組合而成的特徵。這對於一般的邏輯迴歸來說需要計算的特徵太多了。

假使我們採用的都是50x50像素的小圖片，並且我們將所有的像素視爲特徵，則會有 2500個特徵，如果我們要進一步將兩兩特徵組合構成一個多項式模型，則會有約${{2500}^{2}}/2$個（接近3百萬個）特徵。普通的邏輯迴歸模型，不能有效地處理這麼多的特徵，這時候我們需要神經網絡。

Neurons and the Brain【神經元和大腦】

神經網絡逐漸興起於二十世紀八九十年代，應用得非常廣泛。但由於各種原因，在90年代的後期應用減少了。但是最近，神經網絡又東山再起了。其中一個原因是：神經網絡是計算量有些偏大的算法。然而大概由於近些年計算機的運行速度變快，才足以真正運行起大規模的神經網絡。正是由於這個原因和其他一些我們後面會討論到的技術因素，如今的神經網絡對於許多應用來說是最先進的技術。當你想模擬大腦時，是指想製造出與人類大腦作用效果相同的機器。大腦可以學會去以看而不是聽的方式處理圖像，學會處理我們的觸覺。

我們能學習數學，學着做微積分，而且大腦能處理各種不同的令人驚奇的事情。似乎如果你想要模仿它，你得寫很多不同的軟件來模擬所有這些五花八門的奇妙的事情。不過能不能假設大腦做所有這些，不同事情的方法，不需要用上千個不同的程序去實現。相反的，大腦處理的方法，只需要一個單一的學習算法就可以了？儘管這只是一個假設，不過讓我和你分享，一些這方面的證據。

大腦的這一部分這一小片紅色區域是你的聽覺皮層，你現在正在理解我的話，這靠的是耳朵。耳朵接收到聲音信號，並把聲音信號傳遞給你的聽覺皮層，正因如此，你才能明白我的話。

神經系統科學家做了下面這個有趣的實驗，把耳朵到聽覺皮層的神經切斷。在這種情況下，將其重新接到一個動物的大腦上，這樣從眼睛到視神經的信號最終將傳到聽覺皮層。如果這樣做了。那麼結果表明聽覺皮層將會學會“看”。這裏的“看”代表了我們所知道的每層含義。所以，如果你對動物這樣做，那麼動物就可以完成視覺辨別任務，它們可以看圖像，並根據圖像做出適當的決定。它們正是通過腦組織中的這個部分完成的。下面再舉另一個例子，這塊紅色的腦組織是你的軀體感覺皮層，這是你用來處理觸覺的，如果你做一個和剛纔類似的重接實驗，那麼軀體感覺皮層也能學會“看”。這個實驗和其它一些類似的實驗，被稱爲神經重接實驗，從這個意義上說，如果人體有同一塊腦組織可以處理光、聲或觸覺信號，那麼也許存在一種學習算法，可以同時處理視覺、聽覺和觸覺，而不是需要運行上千個不同的程序，或者上千個不同的算法來做這些大腦所完成的成千上萬的美好事情。也許我們需要做的就是找出一些近似的或實際的大腦學習算法，然後實現它大腦通過自學掌握如何處理這些不同類型的數據。在很大的程度上，可以猜想如果我們把幾乎任何一種傳感器接入到大腦的幾乎任何一個部位的話，大腦就會學會處理它。

下面再舉幾個例子：

這張圖是用舌頭學會“看”的一個例子。它的原理是：這實際上是一個名爲BrainPort的系統，它現在正在FDA
(美國食品和藥物管理局)的臨牀試驗階段，它能幫助失明人士看見事物。它的原理是，你在前額上帶一個灰度攝像頭，面朝前，它就能獲取你面前事物的低分辨率的灰度圖像。你連一根線到舌頭上安裝的電極陣列上，那麼每個像素都被映射到你舌頭的某個位置上，可能電壓值高的點對應一個暗像素電壓值低的點。對應於亮像素，即使依靠它現在的功能，使用這種系統就能讓你我在幾十分鐘裏就學會用我們的舌頭“看”東西。

這是第二個例子，關於人體回聲定位或者說人體聲納。你有兩種方法可以實現：你可以彈響指，或者咂舌頭。不過現在有失明人士，確實在學校裏接受這樣的培訓，並學會解讀從環境反彈回來的聲波模式—這就是聲納。如果你搜索YouTube之後，就會發現有些視頻講述了一個令人稱奇的孩子，他因爲癌症眼球慘遭移除，雖然失去了眼球，但是通過打響指，他可以四處走動而不撞到任何東西，他能滑滑板，他可以將籃球投入籃框中。注意這是一個沒有眼球的孩子。

第三個例子是觸覺皮帶，如果你把它戴在腰上，蜂鳴器會響，而且總是朝向北時發出嗡嗡聲。它可以使人擁有方向感，用類似於鳥類感知方向的方式。

還有一些離奇的例子：

如果你在青蛙身上插入第三隻眼，青蛙也能學會使用那隻眼睛。因此，這將會非常令人驚奇。如果你能把幾乎任何傳感器接入到大腦中，大腦的學習算法就能找出學習數據的方法，並處理這些數據。從某種意義上來說，如果我們能找出大腦的學習算法，然後在計算機上執行大腦學習算法或與之相似的算法，也許這將是我們向人工智能邁進做出的最好的嘗試。人工智能的夢想就是：有一天能製造出真正的智能機器。

Model Representation I【模型表示1】

爲了構建神經網絡模型，我們需要首先思考大腦中的神經網絡是怎樣的？每一個神經元都可以被認爲是一個處理單元/神經核（processing unit/Nucleus），它含有許多輸入/樹突（input/Dendrite），並且有一個輸出/軸突（output/Axon）。神經網絡是大量神經元相互鏈接並通過電脈衝來交流的一個網絡。

下面是一組神經元的示意圖，神經元利用微弱的電流進行溝通。這些弱電流也稱作動作電位，其實就是一些微弱的電流。所以如果神經元想要傳遞一個消息，它就會就通過它的軸突，發送一段微弱電流給其他神經元，這就是軸突。

神經網絡模型建立在很多神經元之上，每一個神經元又是一個個學習模型。這些神經元（也叫激活單元，activation unit）採納一些特徵作爲輸出，並且根據本身的模型提供一個輸出。下圖是一個以邏輯迴歸模型作爲自身學習模型的神經元示例，在神經網絡中，參數又可被成爲權重（weight）。

我們設計出了類似於神經元的神經網絡，效果如下：

其中$x_1$, $x_2$, $x_3$是輸入單元（input units），我們將原始數據輸入給它們。
$a_1$, $a_2$, $a_3$是中間單元，它們負責將數據進行處理，然後呈遞到下一層。
最後是輸出單元，它負責計算${h_\theta}\left( x \right)$。

神經網絡模型是許多邏輯單元按照不同層級組織起來的網絡，每一層的輸出變量都是下一層的輸入變量。下圖爲一個3層的神經網絡，第一層成爲輸入層（Input Layer），最後一層稱爲輸出層（Output Layer），中間一層成爲隱藏層（Hidden Layers）。我們爲每一層都增加一個偏差單位（bias unit）：

下面引入一些標記法來幫助描述模型：
$a_{i}^{\left( j \right)}$ 代表第$j$ 層的第 $i$ 個激活單元。${{\theta }^{\left( j \right)}}$代表從第 $j$ 層映射到第$ j+1$ 層時的權重的矩陣，例如${{\theta }^{\left( 1 \right)}}$代表從第一層映射到第二層的權重的矩陣。其尺寸爲：以第 $j+1$層的激活單元數量爲行數，以第 $j$ 層的激活單元數加一爲列數的矩陣。例如：上圖所示的神經網絡中${{\theta }^{\left( 1 \right)}}$的尺寸爲 3*4。

即：如果網絡在第$j$層有$S_j$個單元，且有$S_{j+1}$個單元在第$j+1$層，則$\theta^{(j)}$的維度是$S_{j+1}\times(S_j+1)$。

對於上圖所示的模型，激活單元和輸出分別表達爲：

$a_{1}^{(2)}=g(\Theta _{10}^{(1)}{{x}_{0}}+\Theta _{11}^{(1)}{{x}_{1}}+\Theta _{12}^{(1)}{{x}_{2}}+\Theta _{13}^{(1)}{{x}_{3}})$
$a_{2}^{(2)}=g(\Theta _{20}^{(1)}{{x}_{0}}+\Theta _{21}^{(1)}{{x}_{1}}+\Theta _{22}^{(1)}{{x}_{2}}+\Theta _{23}^{(1)}{{x}_{3}})$
$a_{3}^{(2)}=g(\Theta _{30}^{(1)}{{x}_{0}}+\Theta _{31}^{(1)}{{x}_{1}}+\Theta _{32}^{(1)}{{x}_{2}}+\Theta _{33}^{(1)}{{x}_{3}})$
${{h}_{\Theta }}(x)=g(\Theta _{10}^{(2)}a_{0}^{(2)}+\Theta _{11}^{(2)}a_{1}^{(2)}+\Theta _{12}^{(2)}a_{2}^{(2)}+\Theta _{13}^{(2)}a_{3}^{(2)})$

所以，我們可以知道每一個$a$都是有上一層所有的$x$和每一個$x$所對應的$\theta$所決定的。

Model Representation II【模型表示2】

對於神經網絡來說：

根據迴歸方程來說添加一個$x_0$，且$x_0=1$;

對於上圖所示的模型，激活單元和輸出分別表達爲：

$a_{1}^{(2)}=g(\Theta _{10}^{(1)}{{x}_{0}}+\Theta _{11}^{(1)}{{x}_{1}}+\Theta _{12}^{(1)}{{x}_{2}}+\Theta _{13}^{(1)}{{x}_{3}})$
$a_{2}^{(2)}=g(\Theta _{20}^{(1)}{{x}_{0}}+\Theta _{21}^{(1)}{{x}_{1}}+\Theta _{22}^{(1)}{{x}_{2}}+\Theta _{23}^{(1)}{{x}_{3}})$
$a_{3}^{(2)}=g(\Theta _{30}^{(1)}{{x}_{0}}+\Theta _{31}^{(1)}{{x}_{1}}+\Theta _{32}^{(1)}{{x}_{2}}+\Theta _{33}^{(1)}{{x}_{3}})$
${{h}_{\Theta }}(x)=g(\Theta _{10}^{(2)}a_{0}^{(2)}+\Theta _{11}^{(2)}a_{1}^{(2)}+\Theta _{12}^{(2)}a_{2}^{(2)}+\Theta _{13}^{(2)}a_{3}^{(2)})$

相對於使用循環來編碼，利用向量化的方法會使得計算更爲簡便。以上面的神經網絡爲例，試着計算第二層的值：

$X=\begin{bmatrix}{x_0}\\{x_1}\\{x_2}\\{x_3}\end{bmatrix}$

$a_i^{(j)}=g(z_i^{(j)})$

$z_1^{(2)}=\Theta _{10}^{(1)}{{x}_{0}}+\Theta _{11}^{(1)}{{x}_{1}}+\Theta _{12}^{(1)}{{x}_{2}}+\Theta _{13}^{(1)}{{x}_{3}}$

$z_2^{(2)}=\Theta _{20}^{(1)}{{x}_{0}}+\Theta _{21}^{(1)}{{x}_{1}}+\Theta _{22}^{(1)}{{x}_{2}}+\Theta _{23}^{(1)}{{x}_{3}}$

$z_3^{(2)}=\Theta _{30}^{(1)}{{x}_{0}}+\Theta _{31}^{(1)}{{x}_{1}}+\Theta _{32}^{(1)}{{x}_{2}}+\Theta _{33}^{(1)}{{x}_{3}}$

$z^{(2)}=\Theta^{(1)}x$

$Z^{(2)}=\begin{bmatrix}{z_1^{(2)}}\\{z_2^{(2)}}\\{z_3^{(2)}}\end{bmatrix}$

我們把這樣從左到右的算法稱爲前向傳播算法( FORWARD PROPAGATION )）

把$x$, $\theta$, $a$ 分別用矩陣表示：

$x=\begin{bmatrix}{x_0}\\{x_1}\\{x_2}\\{x_3}\end{bmatrix}\ ,\theta=\begin{bmatrix}\theta_{10}&\theta_{11}&\theta_{12}&\theta_{13}\\\theta_{20}&\theta_{21}&\theta_{22}&\theta_{23}\\\theta_{30}&\theta_{31}&\theta_{32}&\theta_{33}\end{bmatrix}\ ,a=\begin{bmatrix}a_1\\a_2\\a_3\end{bmatrix}$

我們可以得到$\theta \cdot X=a$ 。

$g(\begin{bmatrix}\theta _{10}^{(1)}&\theta _{11}^{(1)}&\theta _{12}^{(1)}&\theta _{13}^{(1)}\\\theta _{20}^{(1)}&\theta _{21}^{(1)}&\theta _{22}^{(1)}&\theta _{23}^{(1)}\\\theta _{30}^{(1)}&\theta _{31}^{(1)}&\theta _{32}^{(1)}&\theta _{33}^{(1)}\\\end{bmatrix}\times\begin{bmatrix}x_0\\x_1\\x_2\\x_3\\\end{bmatrix})=g(\begin{bmatrix}\theta _{10}^{(1)}{{x}_{0}}+\theta _{11}^{(1)}{{x}_{1}}+\theta _{12}^{(1)}{{x}_{2}}+\theta _{13}^{(1)}{{x}_{3}}\\\theta _{20}^{(1)}{{x}_{0}}+\theta _{21}^{(1)}{{x}_{1}}+\theta _{22}^{(1)}{{x}_{2}}+\theta _{23}^{(1)}{{x}_{3}}\\\theta _{30}^{(1)}{{x}_{0}}+\theta _{31}^{(1)}{{x}_{1}}+\theta _{32}^{(1)}{{x}_{2}}+\theta _{33}^{(1)}{{x}_{3}}\\\end{bmatrix})=\begin{bmatrix}a_1\\a_2\\a_3\end{bmatrix}$

我們令 ${{z}^{\left( 2 \right)}}={{\theta }^{\left( 1 \right)}}x$，則 ${{a}^{\left( 2 \right)}}=g({{z}^{\left( 2 \right)}})$ ，計算後添加 $a_{0}^{\left( 2 \right)}=1$。 計算輸出的值爲：

$g(\begin{bmatrix}\theta_{10}^{(2)}&\theta_{11}^{(2)}&\theta_{12}^{(2)}&\theta_{13}^{(2)}\end{bmatrix}\times\begin{bmatrix}a_0^{(2)}\\a_1^{(2)}\\a_2^{(2)}\\a_3^{(2)}\end{bmatrix})=g(\theta _{10}^{(2)}{{a}_{0}^{(2)}}+\theta _{11}^{(2)}{{a}_{1}^{(2)}}+\theta _{12}^{(2)}{{a}_{3}^{(2)}}+\theta _{13}^{(2)}{{a}_{4}^{(2)}})=h_\theta(x)$

我們令 ${{z}^{\left( 3 \right)}}={{\theta }^{\left( 2 \right)}}{{a}^{\left( 2 \right)}}$，則 $h_\theta(x)={{a}^{\left( 3 \right)}}=g({{z}^{\left( 3 \right)}})$。

爲了更好了瞭解Neuron Networks的工作原理，我們先把左半部分遮住：

右半部分其實就是以$a_0, a_1, a_2, a_3$, 按照Logistic Regression的方式輸出$h_\theta(x)$：

$h_\theta(x)=g(\Theta_{10}^{(2)}a_0^{(2)}+\Theta_{11}^{(2)}a_1^{(2)}+\Theta_{12}^{(2)}a_2^{(2)}+\Theta_{13}^{(2)}a_3^{(2)})$

其實神經網絡就像是logistic regression，只不過我們把logistic regression中的輸入向量$\left[ x_1\sim {x_3} \right]$ 變成了中間層的$\left[ a_1^{(2)}\sim a_3^{(2)} \right]$, 即: $h_\theta(x)=g\left( \Theta_0^{\left( 2 \right)}a_0^{\left( 2 \right)}+\Theta_1^{\left( 2 \right)}a_1^{\left( 2 \right)}+\Theta_{2}^{\left( 2 \right)}a_{2}^{\left( 2 \right)}+\Theta_{3}^{\left( 2 \right)}a_{3}^{\left( 2 \right)} \right)$

我們可以把$a_0, a_1, a_2, a_3$看成更爲高級的特徵值，也就是$x_0, x_1, x_2, x_3$的進化體，並且它們是由 $x$與$\theta$決定的，因爲是梯度下降的，所以$a$是變化的，並且變得越來越厲害，所以這些更高級的特徵值遠比僅僅將 $x$次方厲害，也能更好的預測新數據。
這就是神經網絡相比於邏輯迴歸和線性迴歸的優勢。

Examples and Intuitions【特徵和直觀理解1】

神經網絡中，單層神經元（無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)。

由參數可得：$h_\theta(x)=g(-30+20x_1+20x_2)$。

Examples and Intuitions II 【樣本和直觀理解II】

我們可以利用神經元來組合成更爲複雜的神經網絡以實現更復雜的運算。例如我們要實現XNOR 功能（輸入的兩個值必須一樣，均爲1或均爲0），即
$\text{XNOR}=( \text{x}_1\, \text{AND}\, \text{x}_2 )\, \text{OR} \left( \left( \text{NOT}\, \text{x}_1 \right) \text{AND} \left( \text{NOT}\, \text{x}_2 \right) \right)$
所以我們可以使用還有隱藏層的神經網絡來表示XNOR。

所以我們可以在隱藏層設置一個進行$( \text{x}_1\, \text{AND}\, \text{x}_2 )$和$(NOT\ x_1)AND(NOT\ x_2)$的運算。

附

AND(與)

符號:$\land$

x1	x2	x1$\land$x2
1	1	1
1	0	0
0	1	0
0	0	0

OR（或）

符號:$\lor$

x1	x2	x1$\lor$x2
1	1	1
1	0	1
0	1	1
0	0	0

NOT(非)

符號：!

x1	!x1
1	0
0	1

XOR(異或)

符號:$\oplus$

x1	x2	x1$\oplus$x2
1	1	0
1	0	1
0	1	1
0	0	0

Multiclass Classification【多類分類】

當我們有不止兩種分類時（也就是$y=1,2,3….$），比如以下這種情況，該怎麼辦？如果我們要訓練一個神經網絡算法來識別路人、汽車、摩托車和卡車，在輸出層我們應該有4個值。例如，第一個值爲1或0用於預測是否是行人，第二個值用於判斷是否爲汽車

輸入向量$x$有三個維度，兩個中間層，輸出層4個神經元分別用來表示4類，也就是每一個數據在輸出層都會出現${{\left[ a\text{ }b\text{ }c\text{ }d \right]}^{T}}$，且$a,b,c,d$中僅有一個爲1，表示當前類。下面是該神經網絡的可能結構示例：