根據題意可知正例和反例各位50個樣本,題目假定的算法爲若訓練集中正例較多則爲正例,反之爲反例。
1、先考慮簡單的留一法:
若取得1個正例爲測試集,則剩下訓練集爲49個正例50個反例,算法預測爲反例,則與測試集預測相反。反之同樣成立,則留一法的錯誤率爲100%
2、10折交叉驗證
若測試集中正例與反例各爲5個,則剩下訓練集爲45個正例45個反例,因爲訓練樣本數據相同時進行隨機猜測,則錯誤率爲50%
若測試集中正例大於反例,則剩下訓練集正例小於反例,算法預測爲反例,則錯誤率爲正例/(正例+反例)
若測試集中正例小於反例,則剩下訓練集正例大於反例,算法預測爲正例,則錯誤率爲反例/(正例+反例)
對10次交叉驗證錯誤率做平均,可知錯誤率有一定的隨機性
BEP(平衡點)是當P=R時的的取值
由F1公式可知P=R時,F1=P=R,即P=R時BEP=F1。
若F1A > F1B成立,必然在P=R時也成立,即BEP(A)>BEP(B)
P查準率,預測正例中真實正例的比例
R查全率,真實正例中預測正例的比例
TPR真正例率,真實正例中預測正例的比例,與R查全率一樣
FPR假正例率,真實假例中預測正例的比例