現在AI安全早已成爲安全行業的熱門詞彙了,AI安全包括兩個層面,一個用AI解決安全安全行業問題,一個是AI自身的安全問題,平時我們談AI解決安全安全行業問題比較多,對AI自身安全確少有提及,今天要分享的就是AI自身安全問題,總結了一些前沿的論文,方便大家一目瞭然。
機器學習(深度學習)的分層實現:
主流的深度機器學習平臺的複雜度:
存在的攻擊面:
- 輸入畸形數據
- 輸入被毒化的訓練數據
- 輸入帶有攻擊惡意模型
報過的漏洞:
威脅類型:
(1) DoS 攻擊
對訓練機器的資源進行消耗,只到耗盡,形成DOS攻擊,這種攻擊將來對分佈式訓練平臺也有很大的殺傷力
(2)規避攻擊
1)通過漏洞複寫訓練結果模型
2) 劫持程序的執行改變訓練模型的執行
(3)威脅訓練系統( 通過構造一個惡意圖片,使訓練程序觸發漏洞,導致訓練機器被控制)
問題思考:
- 怎樣保障機器學習環境(公用的分佈式平臺或封閉式環境)的不被入侵?
- 怎樣檢測深度學習模型的有沒有被毒化?
- 怎樣檢出深度學習程序自身的邏輯錯誤或有沒有被數據構造攻擊