反捲積,CAM,Grad-CAM

反捲積，導向反向傳播，反向傳播

區別在於反向傳播過程中經過ReLU層時對梯度的不同處理策略

---

CAM
Class Activation Mapping
借鑑GAP



對於其中一個類別：

這樣，CAM以熱力圖的形式告訴了我們，模型是重點通過哪些像素確定這個圖片是羊駝了。

---

Grad-CAM

CAM缺點是要求修改修改原模型的結構，提出Grad-CAM

第k個特徵圖對類別c的權重爲$\alpha_k^c$
Z爲特徵圖的像素個數
$y^c$是對應類別c的分數，logits表示，是輸入softmax層之前的值
$\alpha_k^c=\frac{1}{Z}\sum\limits_{i}\sum\limits_{j}\frac{\partial y^c}{\partial A_{ij}^k}$

$L_{Grad-CAM}^c=ReLU(\sum\limits_k\alpha_k^cA^k)$

Grad-CAM對最終的加權和加了一個ReLU，只關心對類別c有正影響的像素點

除了直接生成熱力圖對分類結果進行解釋，Grad-CAM還可以與其他經典的模型解釋方法如導向反向傳播相結合，得到更細緻的解釋。

---

參考：
https://www.jianshu.com/p/1d7b5c4ecb93
http://bindog.github.io/blog/2018/02/11/model-explanation-2/