說在前面的話：
前段時間因爲組會要對注意力機制做一個報告，我在收集資料的時候發現，網上很多所謂的attention總結無非最後都陷入了對transformer模型和自注意力機制的解釋中，其實這並沒有對所有的注意力機制類型進行一個詳細的總結，這對一個初學者來說很容易陷入一個思維定勢中。因此我決定深入剖析各個經典文章中所使用的Attention機制，並對他們進行一個分類總結。可以說這篇文章內容是全網最全的，應該找不到比這個更全的總結了，除了參考一些綜述和網上資料，我還根據自己的理解整合並加入了一些新的內容。本文參考的文獻和網上資料都會在最後部分給出。
目錄