Dual Attention Network for Scene Segmentation
2018年已經掛出來，2019年被CVPR接收。
文章下載地址：https://arxiv.org/abs/1809.02983
代碼下載地址：https://github.com/junfu1115/ DANet/
論文創新點：
提出了空間位置注意力機制和通道注意力機制。通過這空間注意力網絡來學習特徵的空間相關性，通過通道注意力網絡來學習通道之間的相關性。對於場景分割效果很好。
論文的整體框架：
如下圖所示，論文的整體框架主要分爲兩部分。第一部分是基礎網絡結構，論文中使用的是ResNet，主要作用是用來提取通用特徵。第二部分就是論文提出的空間位置注意力模型和通道注意力模型，兩個注意力模型的結果通過加操作融合在一起，最後通過一個卷積層輸出結果。
Position attention module
Position注意力模型網絡結構如下圖所示，網絡結構的整體流程是：1. A經過一個卷積層得到B和C，特徵圖大小爲（C*H*W），B經過rechape操作得到特徵爲C*N（N=H*W），B再經過transpose操作得到N*C的特徵。C經過reshape操作得到特徵爲C*N。2. 然後將B和C進行乘操作得到N*N，再經過softmax層得到 N*N（(H*W)*(H*W))大小的特徵圖。3. 將softmax得到的注意力圖和D（C*N）進行相乘操作得到C*N大小的特徵圖，在通過reshape得到C*H*W大小的特徵圖。4 . 將得到的C*H*W的特徵圖與A進行加操作，最終得到E，從圖中可以看出E的每個位置的最終特徵是所有位置的特徵與原始特徵的加權和。
Channel Attention Module
通道注意力模型和Position模型是一樣的操作，不同之處主要有兩點：1. 通道注意力網絡開始的時候沒有使用卷積層來處理，而是直接使用reshape操作。2. softmax層之後得到的矩陣是通道維度上的大小是C*C。
實驗結果：
