高等數學之偏導數與梯度
接着上一篇《人工智能-高等數學之微積分篇》,來學下一篇偏導數與梯度下降,在一元函數中,導數就是函數的變化率。對於二元函數研究它的“變化率”,由於自變量多了一個,情況就要複雜的多。二元函數可以用z=f(x,y)表示,如果把f(x,y)中的兩個變量圖像化,將得到空間的某個曲面,如果分析f(x,y)的變化速度,必然要用到導數,只不過這次是對含有兩個變量的函數求導,但我們只對一個變量求導,只觀察這一個變量的變化,所以叫做求偏導。
1. 偏導的定義
下面表示函數f(x,y)在(x0,y0)處的偏導,對x的偏導:∂x∂f(x0,y0),對y的偏導:∂y∂f(x0,y0),也可以寫成fx(x0,y0),fy(x0,y0),偏導數的公式:
∂x∂f(x0,y0)=Δ→0limΔxf(x0+Δx,y0)−f(x0,y0)∂x∂f(x0,y0)=Δ→0limΔyf(x0,y0+Δy)−f(x0,y0)
2. 偏導數的意義
設想一個曲面,z=f(x,y)中,如果保持y不變,那麼函數將依賴於x的變化,這將得到一個與x−y平面平行的切面,切面與f(x,y)的交線就是曲線f(x,y0),偏導數fx(x0,y0)就是交線上一點在x軸方向切線的斜率,此時的切線和y軸沒什麼關係。
具體如圖所示,偏導數的幾何意義:
- 偏導數fx(x0,y0)就是曲面被平面y=y0所截得的曲面在點M0處的切線M0Tx對x軸的斜率。
- 偏導數fy(x0,y0)就是曲面被平面x=x0所截得的曲面在點M0處的切線M0Ty對y軸的斜率。
3. 偏導的計算
對某一個變量求偏導的含義是固定其他變量,僅試探這個變量的擾動對函數的影響,所以對某個變量計算偏導,所以只需要把其他的變量全部看作常量,其餘的計算和導數完全一致。
計算 f(x,y)=x3y+y2的偏導,先對x計算偏導,這相當於把y看做是常量,
求f對x的偏導
∂x∂f=dxd(x3y)+dxdy2=3x2y+0=3x2y
求f對y的偏導
y∂f=dyd(x3y)+dydy2=x3+2y
4. 二階偏導和混合偏導
二階偏導就是求偏導的偏導,過程和求偏導類似,將令一個變量看作常量後對另一個變量反覆求導。
fx=∂x∂f=3x2y,fxx=∂x2∂2f=∂x∂(3x2y)=6xy
對x的偏導表示函數在x軸方向切線斜率的變化率,也就是斜率變化的快慢,這也和單變量函數的二階函數的二階導數類似。
混合偏導,混合編導就是對一個變量求偏導後再對另一個變量求偏導:
fxy=∂x∂y∂2f=∂y∂fx=∂y∂3x2y=3x2
5. 梯度與方向導數
5.1 梯度
梯度也叫斜度,是一個曲面沿着給定方向的傾斜程度。梯度是一個向量,一個函數在某點的梯度,表示該函數在該點處沿着梯度方向變化最快,變化率最大,即函數在這一點處沿着梯度方向的導數能夠取得最大值。
數學定義是這樣:設二元函數z=f(x,y)在平面區域D上具有一階連續偏導數,則對於每一個點P(x,y)都可以定出一個向量
{∂x∂f,∂y∂f}=fx(x,y)i+fy(x,y)j
該函數z=f(x,y)在點P(x,y)的梯度,記作gradf(x,y)或∇f(x,y),即有:
gradf(x,y)=∇f(x,y)={∂x∂f,∂y∂f}=∂x∂f=fx(x,y)i+fy(x,y)j
其中∇=∂x∂fi+∂x∂fj稱爲(二維的)向量微分算子或Nabla算子。
類似還可以推廣到三元函數u=f(x,y,z)在空間區域G內具有一階連續偏導數,點P(x,y,z)∈G,稱爲向量
{∂x∂f,∂x∂f,∂z∂f}=∂x∂fi+∂y∂fj+∂z∂fk
爲函數u=f(x,y,z)在點P的梯度,記爲gradf(x,y,z)或∇f(x,y,z)
5.2 方向導數
偏導數只能表示多元函數沿某個座標軸方向的導數,除開沿座標軸方向上的導數,多元函數在非座標軸方向上也可以求導數,這種導數稱爲方向導數。很容易發現,多元函數在特定點的方向導數有無窮多個,表示函數值在各個方向上的增長速度。那麼問題來了,哪個方向上的增長速度最大呢?由此引出了上一節中梯度的概念,梯度:是一個矢量,其方向上的方向導數最大,其大小正好是此最大方向導數。這個最大值的方向我們就取名爲梯度方向。
由此我們簡單的總結一下:
- 方向導數是各個方向上的導數
- 偏導數連續纔有梯度存在
- 梯度的方向是方向導數中取到最大值的方向,梯度的值是方向導數的最大值
6. 參考博客鏈接
- 直觀理解 梯度(gradient)
- 如何直觀形象的理解方向導數與梯度以及它們之間的關係?
- 對梯度概念的直觀理解