TensorFlow實現指數衰減學習率

在TensorFlow中，tf.train.exponential_decay函數實現了指數衰減學習率，通過這個函數，可以先使用較大的學習率來快速得到一個比較優的解，然後隨着迭代的繼續逐步減小學習率，使得模型在訓練後期更加穩定。

tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函數會指數級地減小學習率，它實現了以下代碼的功能：

#tf.train.exponential_decay函數可以通過設置staircase參數選擇不同的學習率衰減方式

#staircase參數爲False（默認）時，選擇連續衰減學習率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step / decay_steps)

#staircase參數爲True時，選擇階梯狀衰減學習率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step // decay_steps)

①decayed_leaming_rate爲每一輪優化時使用的學習率；

②leaming_rate爲事先設定的初始學習率；

③decay_rate爲衰減係數；

④global_step爲當前訓練的輪數；

⑤decay_steps爲衰減速度，通常代表了完整的使用一遍訓練數據所需要的迭代輪數，這個迭代輪數也就是總訓練樣本數除以每一個batch中的訓練樣本數，比如訓練數據集的大小爲128，每一個batch中樣例的個數爲8，那麼decay_steps就爲16。

當staircase參數設置爲True，使用階梯狀衰減學習率時，代碼的含義是每完整地過完一遍訓練數據即每訓練decay_steps輪，學習率就減小一次，這可以使得訓練數據集中的所有數據對模型訓練有相等的作用；當staircase參數設置爲False，使用連續的衰減學習率時，不同的訓練數據有不同的學習率，而當學習率減小時，對應的訓練數據對模型訓練結果的影響也就小了。

接下來看一看tf.train.exponential_decay函數應用的兩種形態（省略部分代碼）：

①第一種形態，global_step作爲變量被優化，在這種形態下，global_step是變量，在minimize函數中傳入global_step將自動更新global_step參數（global_step每輪迭代自動加一），從而使得學習率也得到相應更新：

import tensorflow as tf
 	 	.
		.
		.
#設置學習率
global_step = tf.Variable(tf.constant(0))
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定義反向傳播算法的優化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy, global_step=global_step)
 	 	.
		.
		.
#創建會話
with tf.Session() as sess:
	 	.
		.
		.
    for i in range(STEPS):
	 	.
		.
		.
        #通過選取的樣本訓練神經網絡並更新參數
        sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
        .
		.
		.

②第二種形態，global_step作爲佔位被feed，在這種形態下，global_step是佔位，在調用sess.run(train_step)時使用當前迭代的輪數i進行feed：

import tensorflow as tf
	 	.
		.
		.
#設置學習率	
global_step = tf.placeholder(tf.float32, shape=())
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定義反向傳播算法的優化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)
	 	.
		.
		.
#創建會話
with tf.Session() as sess:
	 	.
		.
		.
    for i in range(STEPS):
	 	.
		.
		.
        #通過選取的樣本訓練神經網絡並更新參數
        sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end], global_step:i})
	 	.
		.
		.