tensorflow2.0筆記12：梯度下降！

梯度下降！

一、梯度下降

1.1、什麼是梯度?

1.2、梯度到底代表什麼意思？

1.3、如何搜索loss最小值

1.4、tensorflow自動求導機制

• 具體實例如下：

import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

w = tf.constant(1.)
x = tf.constant(2.)   #注意這裏只能是浮點數，是整數的話結果返回None。
y = x*w

#梯度的計算過程要包在這個裏面。
with tf.GradientTape() as tape:
    tape.watch([w])
    y2 = x*w

#[grad1] = tape.gradient(y, [w]) #這裏參數[w]爲list列表。最終返回的也是list類型。
#print(grad1)                    #這裏返回的爲None，爲什麼呢？因爲tape.gradient()中藥求解的y,並沒有包在裏面，而是y2
[grad2] = tape.gradient(y2, [w]) #這裏參數[w]爲list列表。最終返回的也是list類型。y2放進去了
print(grad2)

• 運行結果：

ssh://[email protected]:22/home/zhangkf/anaconda3/envs/tf2.0/bin/python -u /home/zhangkf/tmp/pycharm_project_258/demo/TF2/out.py
None

Process finished with exit code 0

• 注意下面這個：

1.4.1、補充知識：二階梯度！

• 代碼如下：

import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

w = tf.Variable(1.)  #只能是小數
b = tf.Variable(2.)
x = tf.Variable(3.)

with tf.GradientTape() as tape1:
     with tf.GradientTape() as tape2:
          y = x*w +b
     #dy_dw, dy_db = tape2.gradient(y, [w, b])    #都可以
     [dy_dw, dy_db] = tape2.gradient(y, [w, b])
#d2y_d2w = tape1.gradient(dy_dw, [w])             #都可以
d2y_d2w = tape1.gradient(dy_dw, w)

print(dy_dw)
print(dy_db)
print(d2y_d2w)

• 運行結果：

ssh://[email protected]:22/home/zhangkf/anaconda3/envs/tf2.0/bin/python -u /home/zhangkf/tmp/pycharm_project_258/demo/TF2/out.py
tf.Tensor(3.0, shape=(), dtype=float32)
tf.Tensor(1.0, shape=(), dtype=float32)
[None]

Process finished with exit code 0