研究人員在所謂的對抗案例中發現了利用它來保護敏感數據不被窺探的一線希望。機器學習應用程序目前存在種固有的缺陷，被稱爲“對抗性例子“的錯誤分類長期以來一直被視爲機器學習模型中揮之不去的弱點。只需對圖像進行一些小的調整或向數據庫添加一些假數據，就可以欺騙系統得出完全錯誤的結論。現在，有研究人員正在探索將這個致命弱點變成保護用戶隱私和信息安全的武器。
機器學習雖然有探測癌症和製造防撞自動駕駛汽車的巨大潛力，但它也有可能顛覆我們對可見和隱藏事物的認知。例如，它可以通過像素化實現高度精確的面部識別，甚至——正如Facebook的劍橋分析(Cambridge Analytica)醜聞所顯示的——利用公共社交媒體數據來預測更敏感的信息特徵，比如某人的政治傾向。
然而，這些機器學習應用程序也存在人類不存在的一種奇怪的盲點——一種固有的缺陷，它會讓圖像分類器把來福槍誤認爲直升機，或者讓自動駕駛汽車衝過停車標誌。這些被稱爲對抗性例子的錯誤分類長期以來一直被視爲機器學習模型中揮之不去的弱點。只需對圖像進行一些小的調整或向數據庫添加一些假數據，就可以欺騙系統得出完全錯誤的結論。
如今，包括羅切斯特理工學院(Rochester Institute of Technology)和杜克大學(Duke University)在內的一些以隱私爲研究重點的研究人員，正在探索利用這個致命弱點是否也能保護我們的信息。“攻擊者越來越多地使用機器學習來侵犯用戶隱私“，杜克大學計算機科學教授Neil Gong說，“攻擊者知道怎麼運用機器學習的力量的同時也知道它的弱點，我們可以把這種弱點，這種對抗性的例子，變成保護我們隱私的武器。”
一些虛假的“贊”
Gong指出 Facebook的劍橋分析事件正是他希望避免的侵犯隱私事件： 這家數據科學公司向數千名Facebook用戶支付每人幾美元的費用，讓他們回答政治和個人問題，然後將這些答案與他們在Facebook上的公開數據聯繫起來，形成一套“訓練數據”。當該公司利用該數據集訓練一個機器學習引擎時得到的模型，據稱能基於Facebook的公共數據預測私人政治信仰。
Gong和他在杜克大學的同事賈金元(音譯)想知道對抗的例子是否可以防止這種侵犯隱私的行爲。如果在一張照片上只改變幾個像素就能讓機器學習訓練出來的圖像識別引擎把兔子和烏龜搞混，那麼在某人的個人資料中添加或減去幾個Facebook上的“贊”，也能得到扭曲的結果麼？
“我們總能找到擊敗他們的反面例子。”
NEIL GONG，杜克大學
爲了驗證這一假設，杜克大學的研究人員使用了一個類似的數據集：谷歌遊戲商店中的評論。爲了真實模擬劍橋分析公司，他們在谷歌的應用商店中收集了成千上萬的評分，這些評分是由用戶提交的，這些用戶還在谷歌Plus的個人資料中透露了他們的地域。然後，他們用這些數據訓練了一個機器學習引擎，試圖僅根據用戶的app評分來預測他們的家鄉所在的城市。他們發現，僅根據谷歌遊戲喜好，一些機器學習技術就可以在第一次嘗試時猜測出用戶所在的城市，準確率高達44%。
他們建立了他們的機器學習引擎，研究人員試圖用對抗性的例子來打破它。在用幾種不同的方法調整數據後，他們發現，只要添加三個假的應用程序評級，選擇一個統計上不正確的城市，或者去掉暴露的評級，那麼少量的噪音就會降低引擎預測的準確性，使預測結果與隨機猜測一樣。他們稱由此產生的系統爲“摩擦保護”，以保護數據的私有屬性免受機器學習的窺探。Gong說：“只需稍加修改，我們就可以擾亂用戶的資料，從而使攻擊者的準確率降低到基線水平。”
Gong承認，預測和保護私人用戶數據的貓鼠遊戲並沒有就此結束。 如果機器學習的“攻擊者”意識到對抗的例子可能會保護數據集不被分析，他或她可以使用所謂的“對抗訓練”模型” 生成自己的對抗性示例以包含在訓練數據集中，這樣生成的機器學習引擎就很難被欺騙了。但防禦者可以通過添加更多的對抗性例子來應對，以挫敗更強大的機器學習引擎，從而導致無休止的針鋒相對。“即使攻擊者使用所謂的魯棒的機器學習，我們仍然可以調整對抗性例子來避開這些方法，”Gong說。“我們總能找到擊敗他們的反面例子。”
竊聽Mockingbird實驗
另一個研究小組嘗試了一種對抗性示例數據保護的形式，旨在打破貓捉老鼠的遊戲。羅切斯特理工學院(Rochester Institute of Technology)和德克薩斯大學阿靈頓分校(University of Texas at Arlington)的研究人員研究了對抗性的例子如何防止VPNs和匿名軟件Tor等工具中潛在的隱私泄露。Tor旨在隱藏網絡流量的來源和目的地。攻擊者可以在傳輸過程中訪問加密的web瀏覽數據，在某些情況下，他們可以使用機器學習來發現混亂的流量中的模式，從而使監視者能夠預測用戶訪問的是哪個網站，甚至是哪個特定的頁面。在他們的測試中，研究人員發現，這種被稱爲網絡指紋的技術，可以從95種可能性中識別出一個網站，準確率高達98%。
研究人員猜想，他們可以在加密的網絡流量中加入對抗性的“噪音”，以阻止網絡指紋識別。 但他們走得更遠，試圖通過對抗性訓練來繞過對手的保護。 爲此，他們對Tor web會話生成了複雜的對抗性示例調整組合，這是一種流量變化的集合，其目的不僅是欺騙指紋引擎，使其錯誤地檢測出一個站點的流量與另一個站點的流量相同，而且還混合了來自大量誘餌站點流量的相反示例變化。
瞭解更多
這個系統研究人員稱之爲“Mockingbird”，以指代它的混合模仿策略，它會增加大量的開銷——大約比正常Tor流量多56%的帶寬。但這使得指紋識別更加困難：他們的機器學習模型預測用戶訪問哪個網站的準確率下降到27%到57%之間。RIT的一位研究人員馬修·賴特(Matthew Wright)說，由於他們採用隨機調整數據的方式，這種保護措施很難通過對抗性訓練來克服。“因爲我們以這種隨機的方式跳來跳去，攻擊者很難想出所有不同的可能性以及足夠多的包含所有可能性的對抗例子，”Wright說。
紐約大學坦頓工程學院(Tandon School of Engineering)專注於機器學習和安全的計算機科學家布倫丹•杜蘭-加維特(Brendan Dolan-Gavitt)表示，從隱私的角度來看，這些早期實驗將對抗性例子用作一種保護機制，而非漏洞，前景非常好。但他警告稱，他們正在與機器學習研究的主流方向背離：絕大多數研究機器學習的學者將對抗性的例子視爲一個需要解決的問題，而不是一種可以利用的機制。
Dolan-Gavitt說，他們遲早會解決這個問題，並在這個過程中刪除作爲隱私特徵的敵對例子。“考慮到我們目前所知的情況，就目前的技術水平而言，這肯定是可行的，”多蘭·加維特(Dolan Gavitt)說。“ 我認爲，我主要關心的是如何防止對抗性的例子和訓練機器學習模型，使它們不會受到它們的攻擊，這是目前機器學習中最熱門的話題之一"。作者認爲，這是一個無法克服的根本性問題。我不知道這樣賭對不對。”
最後，Dolan-Gavitt指出，機器學習在檢測腫瘤或自動駕駛方面發揮的作用是值得肯定的。 但隨着機器學習的每一次進步，它的預測能力也越來越強，想要躲避它也變得越來越難。
英文原文：
https://www.wired.com/story/adversarial-examples-machine-learning-privacy-social-media/