Tensorflow實例：利用LSTM預測股票每日最高價（一）

RNN與LSTM

這一部分主要涉及循環神經網絡的理論，講的可能會比較簡略。

什麼是RNN

RNN全稱循環神經網絡（Recurrent Neural Networks），是用來處理序列數據的。在傳統的神經網絡模型中，從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網絡對於很多關於時間序列的問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因爲一個句子中前後單詞並不是獨立的。RNN之所以稱爲循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式爲網絡會對前面時刻的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
說了這麼多，用一張圖表示，就是這個樣子。

傳統的神經網絡中，數據從輸入層輸入，在隱藏層加工，從輸出層輸出。RNN不同的就是在隱藏層的加工方法不一樣，後一個節點不僅受輸入層輸入的影響，還包受上一個節點的影響。
展開來就是這個樣子：

圖中的xt−1 ，xt ， xt+1 就是不同時刻的輸入，每個x都具有input layer的n維特徵，依次進入循環神經網絡以後，隱藏層輸出st 受到上一時刻st−1 的隱藏層輸出以及此刻輸入層輸入xt 的兩方影響。
如果要更詳細地瞭解tensorflow對RNN的解釋，清戳官方tensorflow.RNN
另外推薦的學習資料：WildML

什麼是LSTM

LSTM全稱長短期記憶人工神經網絡（Long-Short Term Memory），是對RNN的變種。舉個例子，假設我們試着去預測“I grew up in France… 中間隔了好多好多字……I speak fluent __”下劃線的詞。我們拍腦瓜子想這個詞應該是French。對於循環神經網絡來說，當前的信息建議下一個詞可能是一種語言的名字，但是如果需要弄清楚是什麼語言，我們是需要離當前下劃線位置很遠的“France” 這個詞信息。相關信息和當前預測位置之間的間隔變得相當的大，在這個間隔不斷增大時，RNN 會喪失學習到連接如此遠的信息的能力。
這個時候就需要LSTM登場了。在LSTM中，我們可以控制丟棄什麼信息，存放什麼信息。
具體的理論這裏就不多說了，推薦一篇博文Understanding LSTM Networks，裏面有對LSTM詳細的介紹，有網友作出的翻譯請戳[譯] 理解 LSTM 網絡

股票預測

在對理論有理解的基礎上，我們使用LSTM對股票每日最高價進行預測。在本例中，僅使用一維特徵。
數據格式如下：

本例取每日最高價作爲輸入特徵[x]，後一天的最高價最爲標籤[y]
獲取數據，請戳stock_dataset.csv,密碼：md9l

導入數據：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import tensorflow
f=open('stock_dataset.csv')  
df=pd.read_csv(f)     #讀入股票數據
data=np.array(df['最高價'])   #獲取最高價序列
data=data[::-1]      #反轉，使數據按照日期先後順序排列
#以折線圖展示data
plt.figure()
plt.plot(data)
plt.show()
normalize_data=(data-np.mean(data))/np.std(data)  #標準化
normalize_data=normalize_data[:,np.newaxis]  #增加維度
#———————————————————形成訓練集—————————————————————
#設置常量
time_step=20      #時間步
rnn_unit=10       #hidden layer units
batch_size=60     #每一批次訓練多少個樣例
input_size=1      #輸入層維度
output_size=1     #輸出層維度
lr=0.0006         #學習率
train_x,train_y=[],[]   #訓練集
for i in range(len(normalize_data)-time_step-1):
    x=normalize_data[i:i+time_step]
    y=normalize_data[i+1:i+time_step+1]
    train_x.append(x.tolist())
    train_y.append(y.tolist()) 

出來的train_x就是像這個樣子：

[[[-1.59618],……中間還有18個……, [-1.56340]]
  ……
 [[-1.59202] [-1.58244]]]

是一個shape爲[-1,time_step,input__size]的矩陣

定義神經網絡變量

X=tf.placeholder(tf.float32, [None,time_step,input_size])    #每批次輸入網絡的tensor
Y=tf.placeholder(tf.float32, [None,time_step,output_size]) #每批次tensor對應的標籤

#輸入層、輸出層權重、偏置
weights={
         'in':tf.Variable(tf.random_normal([input_size,rnn_unit])),
         'out':tf.Variable(tf.random_normal([rnn_unit,1]))
         }
biases={
        'in':tf.Variable(tf.constant(0.1,shape=[rnn_unit,])),
        'out':tf.Variable(tf.constant(0.1,shape=[1,]))
        }

定義lstm網絡

def lstm(batch):  #參數：輸入網絡批次數目
    w_in=weights['in']
    b_in=biases['in']
    input=tf.reshape(X,[-1,input_size])  #需要將tensor轉成2維進行計算，計算後的結果作爲隱藏層的輸入
    input_rnn=tf.matmul(input,w_in)+b_in
    input_rnn=tf.reshape(input_rnn,[-1,time_step,rnn_unit])  #將tensor轉成3維，作爲lstm cell的輸入
    cell=tf.nn.rnn_cell.BasicLSTMCell(rnn_unit)
    init_state=cell.zero_state(batch,dtype=tf.float32)
    output_rnn,final_states=tf.nn.dynamic_rnn(cell, input_rnn,initial_state=init_state, dtype=tf.float32)  #output_rnn是記錄lstm每個輸出節點的結果，final_states是最後一個cell的結果
    output=tf.reshape(output_rnn,[-1,rnn_unit]) #作爲輸出層的輸入
    w_out=weights['out']
    b_out=biases['out']
    pred=tf.matmul(output,w_out)+b_out
    return pred,final_states

訓練模型

def train_lstm():
    global batch_size
    pred,_=rnn(batch_size)
    #損失函數
    loss=tf.reduce_mean(tf.square(tf.reshape(pred,[-1])-tf.reshape(Y, [-1])))
 train_op=tf.train.AdamOptimizer(lr).minimize(loss)
    saver=tf.train.Saver(tf.global_variables())
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        #重複訓練10000次
        for i in range(10000):
            step=0
            start=0
            end=start+batch_size
            while(end<len(train_x)):
                _,loss_=sess.run([train_op,loss],feed_dict={X:train_x[start:end],Y:train_y[start:end]})
                start+=batch_size
                end=start+batch_size
                #每10步保存一次參數
                if step%10==0:
                    print(i,step,loss_)
                    print("保存模型：",saver.save(sess,'stock.model'))
                step+=1

預測模型

def prediction():
    pred,_=lstm(1)    #預測時只輸入[1,time_step,input_size]的測試數據
    saver=tf.train.Saver(tf.global_variables())
    with tf.Session() as sess:
        #參數恢復
        module_file = tf.train.latest_checkpoint(base_path+'module2/')
        saver.restore(sess, module_file) 
        #取訓練集最後一行爲測試樣本。shape=[1,time_step,input_size]
        prev_seq=train_x[-1]
        predict=[]
        #得到之後100個預測結果
        for i in range(100):
            next_seq=sess.run(pred,feed_dict={X:[prev_seq]})
            predict.append(next_seq[-1])
            #每次得到最後一個時間步的預測結果，與之前的數據加在一起，形成新的測試樣本
            prev_seq=np.vstack((prev_seq[1:],next_seq[-1]))
        #以折線圖表示結果
        plt.figure()
        plt.plot(list(range(len(normalize_data))), normalize_data, color='b')
        plt.plot(list(range(len(normalize_data), len(normalize_data) + len(predict))), predict, color='r')
        plt.show()

代碼

完整代碼

這一講只有把最高價作爲特徵，去預測之後的最高價趨勢，下一講會增加輸入的特徵維度，把最低價、開盤價、收盤價、交易額等作爲輸入的特徵對之後的最高價進行預測。

注：本文在介紹RNN和LSTM的部分，出處若涉及版權問題或原文鏈接錯誤，請指正，必會馬上修改。