BP（Back Propagation）神經網絡

一、導數

1、導數的公式及幾何意義
（1）

（2）幾何意義爲當函數定義域和取值都在實數域中的時候，導數還可以表示函數曲線上的切線斜率。同時還表示在該點的變化率。

（3）在一元函數中只有一個自變量的變動，表示只存在一個方向的變化率，此時一元函數沒有偏導數

2、偏導數
（1）若爲偏導數則必須涉及兩個或者以上的向量，此文以兩個自變量爲例，z = f(x,y)，此時則不再曲線，而表示的是曲面。曲線中我們的切線則只有一條，但是在曲面中某一點則有無數條切線。
（2）偏導數表示多元函數沿着座標軸的變化率

• $f_x=(x,y)$表示函數在y的方向不變，函數值沿着x軸方向的變化率
• $f_y=(x,y)$表示函數在x的方向不變，函數值沿着y軸方向的變化率

（3）偏導數對應的幾何意義：

• 偏導數$f_x(x_0,y_0)$表示的是曲平面被平面y=$y_0$所截得得曲面在點$M_0$處的切線$M_0T_x$對x軸的斜率
• 偏導數$f_y(x_0,y_0)$表示的是曲平面被平面x=$x_0$所截得得曲面在點$M_0$處的切線$M_0T_y$對y軸的斜率

3、方向導數
（1）介於偏導數的侷限性，因爲它指的是多元函數沿着座標軸的變化率（某一個已知方向），但是我們需要考慮的是多元函數沿着任意方向的變化率，因此引出了方向導數。
（2）方向導數，它是一個數，是一個在某個方向上的導數，用$y=f(x)$來簡單解釋，我們一般默認的某個點切線的斜率，即爲該點沿着X軸正半軸的導數。因爲在$z=f(x,y)$這種多元變量的情況下，可能每一個點在360度方向上均有方向（某些方向可能導數不存在），也就是在多個方向上都有導數。
!
（3）在下山的問題中我們需要找到最陡峭的方向（梯度最大），纔可以讓我們下山越快。

（4）假設山坡的表示爲$z=f(x,y)$，我們可以通過x，y方向的偏微分分別得出x，y方向的斜率，此時x，y方向的斜率相當於一個平面中的兩個基向量，可以用來表示任何方向的斜率。

二、梯度（矢量）

1、方向導數可以理解爲任何一個方向的導數
2、如果有多個方向，我們如何判斷哪個方向上的導數是最大的呢？這個方向就是梯度，它是一個矢量，在梯度方向上的導數就是最大的方向導數。
3、設函數$f(x,y)$在平面區域D內具有一階連續偏導數，則對每一點$P(x_0,y_0)\epsilon{D}$,都可以定出一個向量(矢量表示法)$f_x(x_0,y_0)i + f_y(x_0,y_0)j$稱爲$f(x,y)$在P點處的梯度，記作$\nabla{f(x_0,y_0)}$。
（1）具有一階連續偏導數，意味着可微。可微意味着函數$f(x,y)$在各個方向的切線都在同一個平面上，也就是切平面。
（2）所有的切線都在一個平面上，某一點一定有且只有一個（梯度爲0的情況除外，可以自己想想爲什麼？）最陡峭的地方（因爲方向導數是切線的斜率，方向導數最大也就意味着最陡峭）。
4、方向導數和梯度的關係
（1）定義方向導數爲
$D_uf=$$\lim_{t\longrightarrow0}\frac{f(x_0+t\cos\theta,y_0+t\sin\theta)-f(x_0,y_0)}{t}$
則稱這個極限值是沿着方向的方向導數，那麼隨着的不同，我們可以求出任意方向的方向導數
$u={\cos\theta}i+{\sin\theta}j$爲一個單位向量，θ不同則方向也不同
（2）、利用偏微分進行方向導數的簡化
$D_uf(x,y)=f_x(x,y)\cos\theta+f_y(x,y)\sin\theta$
$\overrightarrow{A}=(f_x(x,y),f_y(x,y))$,$\overrightarrow{I}=(\cos\theta,\sin\theta)$
因此我們可以得出
$D_uf(x,y)=\overrightarrow{A}*\overrightarrow{I}=|A|*|I|\cos\alpha$
（3）那麼此時如果$D_uf(x,y)$要取得最大值，也就是當爲α爲0度的時候，也就是向量I（這個方向是一直在變，在尋找一個函數變化最快的方向）與向量（這個方向當點固定下來的時候，它就是固定的）平行的時候，方向導數最大。

三、神經網絡

四、BP(逆傳播算法)

本文參考以下內容
[方向導數和梯度的關係](https://www.zhihu.com/question/36301367)
[強推的一個學習導數和梯度](https://www.matongxue.com/madocs/222/)
[有關DP的講解](https://blog.csdn.net/u014303046/article/details/78200010#comments)
[有關DP的講解](https://www.sohu.com/a/235924191_633698)