對於機器學習而言，區分異常數據或有顯著差異數據至關重要。谷歌在 NeurIPS 2019 論文中提出併發布了針對基因組序列 OOD 檢測的現實基準數據集，進而提出一種基於似然比的解決方案，可顯著提高 OOD 檢測的準確性。AI 科技評論將谷歌對該方法的官方解讀編譯如下。
深度學習科學家要成功部署機器學習系統，需要系統能夠區分出異常數據或與訓練中使用的數據有顯着差異的數據。
由於深度神經網絡分類器可能會將以高置信度將分佈外（ODD）的輸入分類到分佈內的類別中，因此區分異常數據或有顯著差異數據是十分重要的。當我們利用這些預測爲現實決策提供依據時，異常數據檢測將尤爲重要。
例如，將機器學習模型應用於基於基因組序列的細菌檢測，就是一項具有挑戰性的現實應用。細菌檢測對於敗血症等傳染病的診斷和治療，以及食源性病原體的鑑定都非常關鍵。
近些年來，隨着新細菌種類不斷被發現，雖然基於已知分類訓練的神經網絡分類器通過交叉驗證達到了很高的測量準確性，但部署模型仍具有高的挑戰性，因爲現實數據在不斷進化發展，並且將不可避免地包含以往訓練數據中從未出現過的基因組（OOD 輸入）。
圖1 近些年來，隨着新的細菌種類逐漸地被發現。將已知的分類數據輸入基於已知分類數據訓練的分類器能夠達到很高的準確性，這是因爲輸入的分類數據是已知的，但它可能將已知分類數據中混合了未知分類數據（如：ODD 數據）的輸入進行錯誤的分類，並且具有很高的置信度。
在 NeurIPS 2019 發表的論文《分佈外檢測的似然比》（Likelihood Ratios for Out-of-Distribution Detection）中，谷歌受到上述新細菌種類檢測這類現實問題的啓發，提出併發布了針對基因組序列 OOD 檢測的現實基準數據集。
- 論文地址：https://arxiv.org/abs/1906.02845
- 實現代碼 GitHub 地址：https://github.com/google-research/google-research/tree/master/genomics_ood
他們利用基於基因組序列的生成模型測試了 OOD 檢測的現有方法，發現似然值——即輸入來自使用分佈不均數據進行估算的分佈數據的模型概率——通常是錯誤的。在最近的圖像深度生成模型研究工作中，他們也觀察到了這種現象，並通過統計背景影響來解釋這種現象，進而提出一種基於似然比的解決方案，可以顯著地提高 OOD 檢測的準確性。
一、爲什麼密度模型無法應用於 OOD 檢測？
爲了模擬實際問題並系統地評估不同的方法，他們建立了一個新的細菌數據集，使用的數據來自美國國家生物技術信息中心（NCBI ）對外開放的原核生物目錄基因組序列數據。
爲了模擬測序數據，他們將基因組片段化爲當前測序技術通常使用的 250 個短序列長度的鹼基對。然後，其將分佈內和分佈外的數據按發現日期進行分離，以便截止時間之前被發現的細菌種類被定義在分佈內，在之後發現的被定義爲分佈外（OOD） 。
然後，他們基於分佈內的基因組序列訓練深度生成模型，通過繪製似然值曲線，檢驗模型辨別輸入的分佈內和分佈外數據的能力。 OOD 序列似然值的直方圖與分佈內序列似然值高度重合，則表明生成模型無法區分在兩個種類之間進行的 OOD 檢測結果。
在圖像深度生成模型的早期研究中（相關閱讀參考：https://arxiv.org/abs/1810.09136）也得到了類似的結論。例如，利用 Fashion-MNIST 數據集（由衣服和鞋類的圖像組成）訓練 PixelCNN ++ 模型，比來自 MNIST 數據集（包括數字0-9的圖像）的 OOD 圖像分配了更高的似然值。
圖2 左：分佈內和分佈外（OOD）基因組序列的似然值直方圖。 似然值未能分辨出分佈內和OOD基因組序列。 右：Fashion-MNIST 數據集訓練模型、MNIST 數據集估計的似然值直方圖。 模型在OOD（MNIST）圖像上比在分佈內圖像分配了更高的似然值。
在研究這種失敗模型時，他們觀察到背景統計可能影響了似然值的計算。爲了更直觀地理解該現象，假設輸入由兩個部分組成：（1）以背景統計爲特徵的背景成分，（2）以指定於分佈內數據專用的模式爲特徵的語義成分。
例如，可以將 MNIST 圖像建模爲背景加語義。當人類解讀圖像時，可以輕鬆地忽略背景信息而主要關注語義信息，例如下圖中的“ /”標記。但是當爲圖像中的所有像素計算似然值時，計算結果中同時包括了語義像素和背景像素。雖然他們只需使用語義的似然值進行決策，但原始的似然值結果中可能大多數都是背景成分。
圖3 左上：Fashion-MNIST 的示例圖像。 左下：MNIST 的示例圖像。 右：MNIST 圖像中的背景和語義成分。
二、OOD 檢測的似然比
他們提出了一種去除背景影響並專注於語義成分的似然比方法。
首先，受遺傳突變的啓發，他們利用擾動輸入方法訓練背景模型，並通過隨機選擇輸入值的位置，將其替換爲另一個具有相等概率的值。爲了成像，他們從從256個可能的像素值中隨機選擇輸入值；針對DNA 序列，他們從四個可能的核苷酸（A，T，C或G）中選出輸入值。此過程中，適量的擾動會破壞數據的語義結構，導致只能捕獲到背景。
接着，他們計算完整模型與背景模型之間的似然比，去掉了背景成分，這樣就只保留了語義的似然值。似然比是背景對比得分，即它抓住了語義與背景對比的意義。
爲了定性評估似然值與似然比之間的差異，他們繪製了在 Fashion-MNIST 數據集和 MNIST 數據集中每個像素的似然值和似然比值，創建了與圖像相同的尺寸的熱圖。
這使他們可以分別直觀地看到哪些像素對於這兩項值的貢獻最大。從對數似然熱圖中可以看到，對於似然值而言，背景像素比語義像素的貢獻更多。
事後看來這並不足爲奇，這是由於背景像素主要由一連串零組成，因此很容易被模型學習。
MNIST 和 Fashion-MNIST 熱圖之間的比較則說明了爲什麼 MNIST 返回更高的似然值——僅僅是因爲它包含了更多的背景像素！相反，似然比的結果更多地集中在語義像素上。
這種似然比方法修正了背景影響。他們基於 Fashion-MNIST 訓練 PixelCNN ++ 模型，然後在 MNIST 圖像數據集進行 OOD 檢測，實驗結果得到了顯著改善，AUROC 評分從 0.089 提高至 0.994 。
當他們將似然比方法應用於基因組基準數據集這一極具挑戰的問題時，對比其它 12 種基線方法，該方法表現出了最佳性能。
不過他們也表示，儘管該似然比方法在基因組數據集上達到了最先進的性能，但離將模型部署到實際應用中的高準確性要求仍存在一定距離。 他們鼓勵研究人員努力去解決這一重要問題，並改善當前的最新技術。