自注意網絡，這個點，現在在NLP方面特別火，現在自注意力網絡也有大量的應用在CV上面，尤其在結合CNN。那麼這個self-attention和convolutionl layer之間到底有什麼關係呢？是兩個獨立的模塊還是兩個可以轉換關係。最近我看到了這篇論文。
On the Relationship between Self-Attention and Convolutional Layers 這個論文就是講解了這個關係。我覺得論文挺好的，所以分享給大家。如果大家懶得看全文，只要看下面這一段就可以了。
這一段直接解釋了兩者之間的關係。