白話Focal loss

1、標準交叉熵損失函數如下:

其中,p爲預測爲正樣本的概率,因爲二分類,故預測爲負樣本概率即爲(1-p)。
當label爲1時,p應當接近於1使得loss儘可能小;
當label爲-1時,p應當接近於0,即(1-p)接近於1使得loss儘可能小。

2、當樣本不平衡時,可加入平衡係數α來控制正負樣本對總loss的共享權重。這裏假設正樣本數明顯小於負樣本。設置α=0.25
在這裏插入圖片描述
當label=1時,loss的權重爲0.75
當label=-1時,loss的權重爲0.25
如此以來能避免總loss中負樣本的loss佔大多數,從而對負樣本過擬合而正樣本不能很好學習。

3、Focal Loss
在這裏插入圖片描述
focal loss能很好的控制容易學習和難學習的loss權重,通過加入參數γ控制。設置γ=2
當label=1時,若p=0.9則是容易學習的樣本,則通過係數(1-p)的γ次方減少權重。
當label=-1時,若p=0.1即(1-p)=0.9則是容易學習的樣本,同樣減少權重。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章