[論文筆記]UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES(archive)

UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES(archive)

• 文章簡介
  
  在本研究中，作者系統地研究了兩類可能影響對抗性例子遷移能力的因素。
  
  一是研究模型相關因素：network architecture, model capacity, test accuracy。
  
  二是利用損失函數的局部光滑性設計對抗樣本。
  
  並提出了一個有效的可以提高遷移性的攻擊方法：variance-reduced attack，該方法的核心思想就是在計算梯度時同時考慮改點周圍的其他點的梯度，最後取平均值作爲最終的梯度更新方向。
  

  • DataSet: Cifar-10, ImageNet
  • 類型: 研究的是black-box場景下的遷移問題
  • Strength: 可以應用於任意基於梯度的方法，其核心是爲了移除梯度的不穩定性從而更好地遷移到目標模型

• Contribution

  • 我們用數值方法探討了對抗性轉移如何依賴於特定於模型的因素。首先，發現對抗性轉移是不對稱的(即從模型A生成的對抗性例子可以很容易地轉移到模型B，並不意味着反過來也是自然的), 這說明基於決策邊界相似性的解釋是不充分的，因爲相似性本身是一個對稱量。 第二，在大多數情況下，muti-step攻擊似乎比one-step攻擊更有效(與Adversarial examples in the physical world矛盾)。最後，針對大模型和小模型，並且在測試集上都有不錯的準確度時，由大模型生成的對抗樣本具有更差的可遷移性，這說明大模型的魯棒性更強
  • 研究了loss函數surface的性質，發現損失曲面的局部非光滑性損害了生成的對抗樣本的可移植性。
  • 基於前面的研究，提出了一種簡單但是相當有效的提高可遷移性的攻擊方法，應用locally averaged gradient來生成對抗樣本。由於局部平均具有平滑效應，抑制了損耗面的局部振盪

• HOW MODEL-SPECIFIC FACTORS AFFECT TRANSFERABILITY

  • Architect
    
    通過IGSM和FGSM的攻擊效果對比，我們無法說到底是muti-step攻擊效果強還是one-step攻擊效果強。
    
    可以發現對抗攻擊在不同模型之前不存在對稱性。比如IGSM從densenet121到vgg13_bn和vgg13_bn到densenet121攻擊成功率是明顯不對稱，相差非常大。
    
  • Model Capacity and Test error
    
    橫軸：測試集的Top-1 error
    
    縱軸：用於生產對抗樣本的模型參數量(model capacity)
    
    標記值：遷移率
    
    從圖中可以看到，生成的樣本攻擊性強的模型(標記值越大攻擊能力越強)基本集中在左下角。所以說high-accuracy模型具有更強的攻擊能力。而對於那些有比較高的Top-1 error或者model capacity大的(參數量多)的模型而言，他們的生成的對抗樣本遷移性不強。另一個奇怪的現象就是通過深度網絡產生的對抗樣本反而具有更差的遷移性，不過值得一提的是，深度網絡對對抗樣本有更強的魯棒性。

• shattered gradients：
  
  Shattered gradients的研究表明，即使模型在訓練集上已經訓練得很好了，但是模型的梯度仍然是非常noisy的。作者認爲這種梯度的noise損害了對抗樣本的遷移能力。下圖中模型A和B都已經訓練得很好了，他們的level sets應該是全局相似的。但是可以發現比如說A他的邊界是不穩定的，也就是會出現梯度方向在很小一段距離內會出現震盪，這就破壞了模型的遷移性。但是通過smooth A的landspace，可以在一定程度上更加穩定的梯度方向，從而增加對抗樣本的遷移能力。

於是作者提出了一個平滑landspace的方法，其建模過程如下：

最後的梯度方向是期望，也就達到了我們所想要的平滑目標。下圖中作者選取$\delta=15$, 其中$m$是隨機的採樣數，$G_A$通過取平均值的方法來代替期望(注意：這裏對B是不進行平滑的，因爲是black-box場景，無法獲得目標模型的梯度信息)，可以發現隨着$m$的增加，即越來越平滑，對應的餘弦相似度也會增加，這說明這種方法是比較有效的。

作者進一步可視化了resnet34和densenet121的決策邊界，這幅圖還是需要解釋一下，因爲有點難懂。

橫軸：表示resnet34的某一點的梯度方向$G_A$(這是一個單位向量，在$m=1000$和$\delta=15$條件下的採樣平均值)，橫軸上的值可以理解爲往這個方向前進的相對距離。

縱軸：對$G_A$使用施密特正交化後的正交向量$h_A$，同理該軸上的值也可以理解爲往$h_A$這個方向前進的相對距離。

必需強調的是，無論是$\hat{G}_A$還是$\hat{h}_A$都是對應於resnet34而言的

圖上的每一個點可以理解爲經過下面公式擾動後從高維空間映射到2維空間(這個2維空間其實是$\hat{G}_A$和$\hat{h}_A$張成的平面)的投影圖，其中圖上點的顏色代表在原高維空間中對應的類別:
$clip(x+u\hat{G}_A+v\hat{h}_A, 0, 255)$
可以發現對於resnet34，無論是$\hat{G}_A$方向還是$\hat{h}_A$方向，稍微移動一段距離就可以產生誤分類。而densenet121在$\hat{h}_A$方向魯棒性更強，$\hat{G}_A$方向倒是不夠魯棒。這個結果也進一步地證明了local average gradient確實提取到了$g_A$中的可遷移部分。(這裏我的理解是，在$\hat{G}_A$方向，兩者的魯棒性比較接近，這說明該在該方向上若我對原圖$x$進行輕微的擾動，能夠在souce model上產生誤分類，在targeted model上也能產生誤分類的效果，這就說明了我們的方法確實提取到了能夠滿足遷移性的方向)

• Method:

其中$G_t$是用一個mini-batch來近似$\mathbb{E}_{\xi \sim \mathcal{N(0, \delta^2I)}}[\triangledown J(x+\xi)]$，然後通過迭代的方法進行更新。

• 性能：
  從表中可以看出，variance-reduced gradient能夠提高對抗樣本的遷移能力。然而該方法從lenet遷移到resnet-20和densenet效果不是很明顯。作者認爲是lenet並不是一個比較強的模型，學到的信息有限。我覺得可能是因爲模型不是特別深，所以他的決策邊界並沒有非常顯著的震盪性，從而平滑效果有限。
  
  [Note]: 原文中還進行targeted、untargeted以及emsemble等對比分析，皆能表明本文的方法優越，這裏就不在贅述。
  • test accuracy(Cifar-10):
    • lenet: 76.9%
    • resnet-20: 92.4%
    • densenet: 94.2%
      

此外，該方法可以整合到任意基於梯度的方法中去。其中m是代表的是momentum方法

通過對對抗樣本進行Transform，來評價其魯棒性(即進行Transform後還能成功攻擊的能力)，結果如下

可以發現本文提出的方法加入後，其魯棒性總體上是增強的(圖中應該是筆誤應該是vr纔對?)

---

如果覺得我有地方講的不好的或者有錯誤的歡迎給我留言，謝謝大家閱讀（點個贊我可是會很開心的哦）~