經過前期的學習,這一節來學習稍微綜合一點的,建造一個完整的神經網絡,包括添加神經層,計算誤差,訓練步驟,判斷是否在學習。
添加層
構造添加一個神經層的函數。
def add_layer(inputs, in_size, out_size, activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size, out_size]))
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs, Weights) + biases
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
return outputs
導入數據
構建所需的數據。 這裏的x_data
和y_data
並不是嚴格的一元二次函數的關係,因爲我們多加了一個noise
,這樣看起來會更像真實情況。
x_data = np.linspace(-1,1,300, dtype=np.float32)[:, np.newaxis]
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32)
y_data = np.square(x_data) - 0.5 + noise
利用佔位符定義我們所需的神經網絡的輸入。 tf.placeholder()
就是代表佔位符,這裏的None代表無論輸入有多少都可以,因爲輸入只有一個特徵,所以這裏是1。
xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1])
接下來,我們就可以開始定義神經層了。 通常神經層都包括輸入層、隱藏層和輸出層。這裏的輸入層只有一個屬性, 所以我們就只有一個輸入;隱藏層我們可以自己假設,這裏我們假設隱藏層有10個神經元; 輸出層和輸入層的結構是一樣的,所以我們的輸出層也是隻有一層。 所以,我們構建的是——輸入層1個、隱藏層10個、輸出層1個的神經網絡。
搭建網絡
下面,我們開始定義隱藏層,利用之前的add_layer()
函數,這裏使用 Tensorflow 自帶的激勵函數tf.nn.relu
。
l1 = add_layer(xs, 1, 10, activation_function=tf.nn.relu)
接着,定義輸出層。此時的輸入就是隱藏層的輸出——l1,輸入有10層(隱藏層的輸出層),輸出有1層。
prediction = add_layer(l1, 10, 1, activation_function=None)
計算預測值prediction和真實值的誤差,對二者差的平方求和再取平均。
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),
reduction_indices=[1]))
接下來,是很關鍵的一步,如何讓機器學習提升它的準確率。tf.train.GradientDescentOptimizer()
中的值通常都小於1,這裏取的是0.1
,代表以0.1的效率來最小化誤差loss
。
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
使用變量時,都要對它進行初始化,這是必不可少的。
# init = tf.initialize_all_variables() # tf 馬上就要廢棄這種寫法
init = tf.global_variables_initializer() # 替換成這樣就好
定義Session
,並用 Session
來執行 init
初始化步驟。 (注意:在tensorflow中,只有session.run()
纔會執行我們定義的運算。)
sess = tf.Session()
sess.run(init)
訓練
下面,讓機器開始學習。
比如這裏,我們讓機器學習1000次。機器學習的內容是train_step
, 用 Session 來 run 每一次 training 的數據,逐步提升神經網絡的預測準確性。 (注意:當運算要用到placeholder
時,就需要feed_dict
這個字典來指定輸入。)
for i in range(1000):
# training
sess.run(train_step, feed_dict={xs: x_data, ys: y_data})
每50步我們輸出一下機器學習的誤差。
if i % 50 == 0:
# to see the step improvement
print(sess.run(loss, feed_dict={xs: x_data, ys: y_data}))
完整代碼:
import tensorflow as tf
import numpy as np
# 構造添加神經層函數
def add_layer(inputs, in_size, out_size, activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size, out_size]))
biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
Wx_plus_b = tf.matmul(inputs, Weights) + biases
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
return outputs
x_data = np.linspace(-1, 1, 300, dtype=np.float32)[:, np.newaxis]
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32)
y_data = np.square(x_data) - 0.5 + noise
# 定義佔位符
xs = tf.placeholder(tf.float32, [None, 1])
ys = tf.placeholder(tf.float32, [None, 1])
# 假設一個輸入層,十個隱藏層,一個輸出層
l1 = add_layer(xs, 1, 10, activation_function=tf.nn.relu)
# 定義輸出層
prediction = add_layer(l1, 10, 1, activation_function=None)
# 計算預測值prediction和真實值的誤差,對二者差的平方求和再取平均
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction), reduction_indices=[1]))
# 梯度下降
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 初始化變量
init = tf.global_variables_initializer()
# Session
sess = tf.Session()
sess.run(init)
# 機器開始學習
for i in range(1000):
# training
if i % 50 == 0:
# to see the step improvement
print(sess.run(train_step, feed_dict={xs:x_data,ys:y_data}))
注:本文轉載自莫煩說TensorFlow