Tensorflow實現MLP

  多層感知機（MLP）作爲最典型的神經網絡，結構簡單且規則，並且在隱層設計的足夠完善時，可以擬合任意連續函數。本文將利用 MLP 實現手寫數字分類的任務。

結構：
  784個輸入層神經元 – 200個隱層神經元 – 10個輸出層神經元。其中，設置 relu爲隱層的激活函數，輸出層用 SoftMax 進行處理
Dropout：
  將神經網絡某一層的輸出節點數據隨機丟棄一部分，即令這部分被隨機選中的節點輸出值令爲0，這樣做等價於創造出很多新樣本，通過增大樣本量，減少特徵數量來防止過擬合。
學習效率：
  因爲神經網絡的訓練通常不是一個凸優化問題，它充滿了很多局部最優，因此我們通常不會採用標準的梯度下降算法，而是採用一些有更大可能跳出局部最優的算法，常用的如SGD，而SGD本身也不穩定，其結果也會在最優解附近波動，且設置不同的學習效率可能會導致我們的網絡落入截然不同的局部最優之中，對於SGD，我們希望開始訓練時學習率大一些，以加速收斂的過程，而後期學習率低一些，以更穩定地落入局部最優解，因此常使用Adagrad、Adam等自適應的優化方法，可以在其默認參數上取得較好的效果。

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

'''導入MNIST手寫數據'''
mnist = input_data.read_data_sets('MNIST_data/', one_hot=True)

'''自定義神經層添加函數'''
def add_layer(inputs, in_size, out_size, activation_function=None):
    Weights = tf.Variable(tf.truncated_normal([in_size, out_size], mean=0, stddev=0.2))  # 定義權重
    biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)  # 定義bias
    Wx_plus_b = tf.matmul(inputs, Weights) + biases
    if activation_function is None:  # 根據激活函數的設置來處理輸出項
        outputs = Wx_plus_b
    else:
        outputs = activation_function(Wx_plus_b)
    return outputs

'''創建樣本數據'''
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])
keep_prob = tf.placeholder(tf.float32)

'''構建MLP'''
l1 = add_layer(x, 784, 300, activation_function=tf.nn.relu)  # 隱層l1
l1_dropout = tf.nn.dropout(l1, keep_prob)  # 對l1進行dropout處理
prediction = add_layer(l1_dropout, 300, 10, activation_function=tf.nn.softmax)  # 輸出層

'''損失函數'''
loss = tf.reduce_mean(tf.reduce_sum((prediction - y) ** 2, reduction_indices=[1]))

'''優化器'''
train_step = tf.train.AdagradOptimizer(0.3).minimize(loss)

'''創建會話並激活部件'''
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

'''訓練'''
for i in range(10001):
    x_batch, y_batch = mnist.train.next_batch(200)  # 每次從訓練集中抽出批量爲200的訓練批進行訓練
    sess.run(train_step, feed_dict={x: x_batch, y: y_batch, keep_prob: 0.75})
    if i % 200 == 0:
        print('第', i, '輪迭代後：')
        whether_correct = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))
        accuracy = tf.reduce_mean(tf.cast(whether_correct, tf.float32))
        print(sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels, keep_prob: 1.0}))

參考：數據科學學習手札36–tensorflow實現MLP