1.Attention機制的提出：
Attention模型最早是在計算機視覺領域提出，首次用於解決nlp問題在2014年[1]。由於seq2seq中的原始輸入序列中的單詞對於目標輸出序列的重要性程度是一致的，當輸入序列過長時，此模型的效果將會降低。
比如，在機器翻譯方面，對於輸入序列爲“自”，“然”，“語”，“言”，生成的輸出序列爲“Natural”，“Language”。事實上，我們發現，“自”“然”對於“Natural”的貢獻應該更大，而“語”“言”對於“Language”的貢獻應該更大，但是Seq2seq模型給每個單詞分配相同的權重，因而在長序列情況下，效果並不理想，Attention就是爲了解決當輸入序列過長時模型效果變差而引入的。
2.Seq2seq+Attention模型：
（1）首先將輸入單詞轉換爲詞向量和上一個時間點的隱藏狀態一起進入Encoder層，輸出的是這個時間點的隱藏狀態。
（2）Decoder方面接收的是目標單詞的詞向量和上一個時間點的隱藏狀態，輸出的是這個時間點的隱藏狀態。
（3）然後，將Decoder的隱藏狀態和Encoder的隱藏狀態輸入到Attention層，計算出語義向量context vector。
（4）接着，context vector可以作爲輸入和目標單詞串起來作爲LSTM的輸入。之後又回到一個隱藏狀態。以此循環。
論文地址：https://arxiv.org/abs/1409.0473，論文題目爲Neural Machine Translation by Jointly Learning to Align and Translate。
3.Attention權重的計算：
（1） 
其中，score()函數的計算方式有如下幾種：
![score({h_t},{\overline h _s}) = \left\{ {\begin{array}{*{20}{c}} {{h_t}^T{{\overline h }_s}}\\ {{h_t}^T{W_\alpha }{{\overline h }_s}}\\ {v_\alpha ^T\tanh ({W_\alpha }[{h_t}^T;{{\overline h }_s}])} \end{array}\;\;\;\begin{array}{*{20}{c}} {dot}\\ {general}\\ {concat} \end{array}} \right.](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?score%28%7Bh_t%7D%2C%7B%5Coverline%20h%20_s%7D%29%20%3D%20%5Cleft%5C%7B%20%7B%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bc%7D%7D%20%7B%7Bh_t%7D%5ET%7B%7B%5Coverline%20h%20%7D_s%7D%7D%5C%5C%20%7B%7Bh_t%7D%5ET%7BW_%5Calpha%20%7D%7B%7B%5Coverline%20h%20%7D_s%7D%7D%5C%5C%20%7Bv_%5Calpha%20%5ET%5Ctanh%20%28%7BW_%5Calpha%20%7D%5B%7Bh_t%7D%5ET%3B%7B%7B%5Coverline%20h%20%7D_s%7D%5D%29%7D%20%5Cend%7Barray%7D%5C%3B%5C%3B%5C%3B%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bc%7D%7D%20%7Bdot%7D%5C%5C%20%7Bgeneral%7D%5C%5C%20%7Bconcat%7D%20%5Cend%7Barray%7D%7D%20%5Cright.)
（2） 
（3）
4.總結：
seq2seq+Attention相對於seq2seq模型的改進：
（1）Encoder提供所有節點的隱藏狀態給Decoder，不僅僅是最後一個節點的隱藏狀態。
（2）Decoder計算每個隱藏狀態的相關性分數，並使用softmax函數得到每個隱藏狀態的權重得分，這樣使得相關性高的隱藏狀態有更高的權重。
參考文獻：
[1] Bahdanau D , Cho K , Bengio Y . Neural Machine Translation by Jointly Learning to Align and Translate[J]. computer science, 2014.