Towards Deep Learning Models Resistant to Adversarial Attacks(CVPR 2017)
文章簡述：
本文主要是在研究防禦的問題，並提出了PGD這種first-order攻擊方法，其中增強模型robust的方法有以下兩種：
- 增大網絡容量
- 使用PGD方法進行對抗訓練
如何訓練更加robust的模型？
下面這個公式可以看成一個鞍點的問題，即inner-max和outer-min。
inner-max: 目標是找到原始數據中所對應的對抗樣本，使其能夠實現高損失outer-min: 目標是尋找到合適的網絡參數，使得模型的robust提升。
projected gradient descent (PGD):
PGD即muti-step FGSM，且PGD算是非常強的first-order攻擊，基本能防禦PGD的網絡，就可以防禦其他任何one-order攻擊
解釋爲什麼進行對抗訓練後在原test集上準確度反而下降？
其中中間和右邊圖的框框代表的就是$L_{\infty}-ball$，可以發現，將對抗樣本加入訓練集中後，模型爲了減小整體損失，其決策邊界就會更加非線性(原始數據集是線性可分的)，而這就會產生類似於在原數據集上"過擬合"現象。
模型的capacity
可以看到，隨着模型的capacity變大，不僅在原始數據集上表現會變好（雖然有限），而且對於(one-step)對抗樣本的抵抗能力也會增強。
由於這些筆記是之前整理的，所以可能會參考其他博文的見解，如果引用了您的文章的內容請告知我，我將把引用出處加上~
如果覺得我有地方講的不好的或者有錯誤的歡迎給我留言，謝謝大家閱讀（點個贊我可是會很開心的哦）~