Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

普通的機器學習分類迴歸問題都是點估計,即模型給出的輸出是一個real value,或者是各個類別的probability。

但是模型對於不同點的估計,確信度應該是不同的。對於和以往出現過樣本非常相似的點,給出的預測確信度比較高,對於和以往出現過點距離比較遠的點的估計,確信度應該降低。

目前衡量神經網絡結果不確定性的方法主要是貝葉斯神經網絡,每一層的w和b都是服從一個分佈而非是確定的值,所以自然,最後的估計結果可以由貝葉斯公式給出一個置信區間,從而給出不確定性的估計。

但是貝葉斯網絡存在計算量大,複雜的問題。

本文給出一種機器學習的通用學習框架,來更好的訓練模型,具體而言分三步。

1、確定一個合理的訓練目標函數

2、使用對抗學習訓練方法平滑預測函數

3、使用ensemble方法訓練多個預測器

對於多個預測器,採用bootstrap的辦法,抽樣訓練,最後模型的不確定性,由多個預測器給出的預測結果差異決定。

加入對抗學習的目的,好像文中沒有說清楚,說了在e領域內讓預測器穩定平滑,但這樣是爲了什麼,沒有交代的很清楚。

但也大概可以有個模糊的解釋

這個圖中最右是該方法的估計,可見,樣本點上,各個模型相似,所以方差小,灰色寬度小,在樣本外,各個模型給出預測差異大,寬度大。

於是乎,各種結果說明了該方法的有效性。

感覺作者想推廣自己的方法,使之成爲機器學習界通用的訓練方法,但是,好像沒啥動靜。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章