encoder decoder 模型是比較難理解的，理解這個模型需要清楚lstm 的整個源碼細節，坦率的說這個模型我看了近十天，不敢說完全明白。
- 我把細胞的有絲分裂的圖片放在開頭，我的直覺細胞的有絲分裂和這個模型有相通之處
定義訓練編碼器
#########################################################################################################################################################
# 定義訓練編碼器
#None表示可以處理任意長度的序列
# num_encoder_tokens表示特徵的數目,三維張量的列數
encoder_inputs = Input(shape=(None, num_encoder_tokens),name='encoder_inputs')
# 編碼器，要求其返回狀態，lstm 公式理解https://blog.csdn.net/qq_38210185/article/details/79376053
encoder = LSTM(latent_dim, return_state=True,name='encoder_LSTM') # 編碼器的特徵維的大小latent_dim,即單元數,也可以理解爲lstm的層數
#lstm 的輸出狀態，隱藏狀態，候選狀態
encoder_outputs, state_h, state_c = encoder(encoder_inputs) # 取出輸入生成的隱藏狀態和細胞狀態，作爲解碼器的隱藏狀態和細胞狀態的初始化值。
#上面兩行那種寫法很奇怪，看了幾天沒看懂，可以直接這樣寫
#encoder_outputs, state_h, state_c= LSTM(latent_dim, return_state=True,name='encoder_LSTM')(encoder_inputs)
# 我們丟棄' encoder_output '，只保留隱藏狀態，候選狀態
encoder_states = [state_h, state_c]
#########################################################################################################################################################
定義訓練解碼器
#########################################################################################################################################################
# 定義解碼器的輸入
# 同樣的，None表示可以處理任意長度的序列
# 設置解碼器，使用' encoder_states '作爲初始狀態
# num_decoder_tokens表示解碼層嵌入長度,三維張量的列數
decoder_inputs = Input(shape=(None, num_decoder_tokens),name='decoder_inputs')
# 接下來建立解碼器，解碼器將返回整個輸出序列
# 並且返回其中間狀態，中間狀態在訓練階段不會用到，但是在推理階段將是有用的
# 因解碼器用編碼器的隱藏狀態和細胞狀態，所以latent_dim必等
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True,name='decoder_LSTM')
# 將編碼器輸出的狀態作爲初始解碼器的初始狀態
decoder_outputs, _, _ = decoder_lstm(decoder_inputs,
initial_state=encoder_states)
# 添加全連接層
# 這個full層在後面推斷中會被共享！！
decoder_dense = Dense(num_decoder_tokens, activation='softmax',name='softmax')
decoder_outputs = decoder_dense(decoder_outputs)
#########################################################################################################################################################
定義訓練模型
# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
####################################################################################################################
model = Model([encoder_inputs, decoder_inputs], decoder_outputs) #原始模型
####################################################################################################################
#model.load_weights('s2s.h5')
# Run training
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
batch_size=batch_size,
epochs=epochs,
validation_split=0.2)
# 保存模型
model.save('s2s.h5')
顯示模型的拓撲圖
import netron
netron.start("s2s.h5")
編碼器，狹隘的說就是怎麼將字符編碼，注意輸出是 encoder_states = [state_h, state_c] ， 根據輸入序列得到隱藏狀態和候選門狀態，輸出是一個二元列表
# 定義推斷編碼器 根據輸入序列得到隱藏狀態和細胞狀態的路徑圖，得到模型，使用的輸入到輸出之間所有層的權重，與tf的預測簽名一樣
####################################################################################################################
encoder_model = Model(encoder_inputs, encoder_states) #編碼模型 ，注意輸出是 encoder_states = [state_h, state_c]
####################################################################################################################
encoder_model.save('encoder_model.h5')
import netron
netron.start('encoder_model.h5')
注意輸出是 encoder_states = [state_h, state_c] =[encoder_LSTM:1,: encoder_LSTM:2]
解碼模型
#解碼的隱藏層
decoder_state_input_h = Input(shape=(latent_dim,))
#解碼的候選門
decoder_state_input_c = Input(shape=(latent_dim,))
#解碼的輸入狀態
decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
decoder_outputsd, state_hd, state_cd = decoder_lstm(decoder_inputs, initial_state=decoder_states_inputs)
decoder_statesd = [state_hd, state_cd]
decoder_outputsd1 = decoder_dense(decoder_outputsd)
decoder_model = Model(
[decoder_inputs] + decoder_states_inputs,
[decoder_outputsd] + decoder_statesd)
解碼模型是一個三輸入，三輸出的模型
# 將輸入編碼爲狀態向量
#注意輸出是 encoder_states = [state_h, state_c]
# states_value 是一個有兩元素的列表，每個元素的維度是256
states_value = encoder_model.predict(input_seq)
# 生成長度爲1的空目標序列
target_seq = np.zeros((1, 1, num_decoder_tokens))
# 用起始字符填充目標序列的第一個字符。
target_seq[0, 0, target_token_index['\t']] = 1.
# 對一批序列的抽樣循環(爲了簡化，這裏我們假設批大小爲1)
stop_condition = False
decoded_sentence = ''
while not stop_condition:
output_tokens, h, c = decoder_model.predict(
[target_seq] + states_value)
# Sample a token
sampled_token_index = np.argmax(output_tokens[0, -1, :])
sampled_char = reverse_target_char_index[sampled_token_index]
decoded_sentence += sampled_char
# 退出條件:到達最大長度或找到停止字符。
if (sampled_char == '\n' or len(decoded_sentence) > max_decoder_seq_length):
stop_condition = True
# 更新目標序列(長度1)
target_seq = np.zeros((1, 1, num_decoder_tokens))
target_seq[0, 0, sampled_token_index] = 1.
print(sampled_token_index)
# 更新狀態
states_value = [h, c]
我們可以想一想爲什麼要用下面這段代碼
當輸入input_seq 之後，就得到了encoder_states ，在之後一直共享這個數值
然後就像解鈕釦那樣，先找到第一個鈕釦，就是’\t’，在target_text中’\t’就是第一個字符
【’\t’，states_value】–>下一個字符 c1
【‘c1’，states_value】–>下一個字符 c2
while循環一直到最後