吳恩達深度學習第一課（神經網絡與深度學習基礎）--第二週神經網絡基礎

第二週神經網絡基礎

$過程：輸入x，計算機通過一系列計算，得出\hat y，我們希望計算而來的\hat y與期望中的y無限接近。$
$舉個例子，給計算機輸入一張貓貓的圖片，計算機得出一個結果\hat y，我們希望\hat y無限接近期望中的結果‘貓貓’。$
$所以我們用損失函數將\hat y轉化爲0-1的概率值，但損失函數針對單個樣本，而成本函數針對所有樣本的損失函數和。$

logistic迴歸

$輸入一個64*64的圖片，計算機將此圖片存儲爲大小爲64*64*3=12288大小的特徵向量n_x=\begin{bmatrix} . \\ . \\.\\. \end{bmatrix} 。（x,y）， x \in R^{n_x} ， y\in{0,1} ，m_{train}={(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),{\dots},(x^{(m)},y^{(m)})},m_{test}。$
$若x=\begin{bmatrix} x^{(1)}&&x^{(2)} &&{\dots} && x^{(m)} \end{bmatrix} ，則x=R^{n_x*m},x.shape=(n_x,m)。$
$若y=\begin{bmatrix} y^{(1)}&&y^{(2)} &&{\dots} && y^{(m)} \end{bmatrix} ,則y\in R^{1*m},y.shape=(1,m)。我們希望\hat y無線接近y，則\hat y \in (0,1)，x\in R^{n_x},w\in R^{n_x},b\in R,\hat y=\delta(w^Tx+b),\delta(z)=\frac{1}{1+e^{-z}}。$
$若z\uparrow，則\delta \approx \frac{1}{1+0}\approx 1;$
$若z\downarrow，則\delta \approx \frac{1}{x+\infty}\approx0。$

損失函數loss function

$loss function:L = (\hat y,y)=\frac {1}{2}(\hat y - y)^2，但通常使用L = -(y\log_2 \hat y+(1-y)log_2(1-\hat y))。$
$若y=1，L(\hat y,y)=-ylog_2\hat y,希望log_2 \hat y \uparrow,則\hat y \uparrow。$
$若y=0，L(\hat y,y)=log_2 (1-\hat y),希望log(1-\hat y)\uparrow，則\hat y \downarrow$

$梳理： 爲何使用損失函數？ 來衡量單個樣本預測輸出值\hat y和y的實際值有多接近。$

成本函數cost function

$cost function:J(w,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat y^{(i)},y^{i})=-\frac{1}{m} \sum_{i=1}^m[y^{(i)}log_2\hat y^{(i)}+(1-y^{(i)})log_2(1-\hat y^{(i)})].$

$梳理： 爲何使用成本函數？ 來衡量所有樣本的損失函數和。$

梯度下降

$J(w,b) w=w-\alpha \frac{\partial J(w,b)}{\partial w};b=b-\alpha \frac{\partial J(w,b)}{\partial b}$
$其中，\alpha是learning rate學習率，可以控制每一次迭代或梯度下降法的步長。$
$其中， \frac{\partial J(w,b)}{\partial w}是對w偏導。$
上述公式，可以看出這是三維空間的立體圖形，通過不斷修正w和b，使得w和b最終歸到圖形中最凹點或最凸點處。
$梳理： 爲何使用梯度下降？ 爲了訓練或學習訓練集上的參數w,b$

計算圖

舉例，J(a,b,c)=3(a+bc),令u=bc,v=a+u,J=3v。採用鏈式法則，從j倒退a，b，c的導數，這個過程，就是計算圖。

向量化

省略顯示for循環，用python中的numpy中的向量來替換，在數據量很大的時候，運算速度可以顯著提高。