《西瓜書》- 第2章 模型評估與選擇 習題答案整理

說明

自己整理，歡迎交流～

2.1 數據集包含1000個樣本，其中500個正例、500個反例，將其劃分爲包含70%樣本的訓練集和30%樣本的測試集用於留出法評估，試估計有多少種劃分方式。

答：30%用於測試集相當於要從正負樣本各選500*30%=150個樣本
所以一共有 $C_{500}^{150}·C_{500}^{150}$

2.2 數據集包含100個樣本，其中正、反例各一半，假定學習算法所產生的模型試將新樣本預測爲訓練樣本數較多的類別（訓練樣本數相同時進行隨機猜測），試給出用10折交叉驗證法和留一法分別對錯誤率將性評估所得的結果。

答：10折交叉驗證每次驗證集上的正負樣本理想狀態下可理解爲正負各一半，訓練樣本也是正負各一半，所以預測準確率是50%；留一法可分爲2種情況理解，留下的樣本是正例，則訓練樣本種正樣本49，負樣本50，預測爲負樣本，預測錯誤，同理，留下的是負樣本，則預測爲正樣本也預測錯誤，故留一法預測錯誤率爲100%。

2.3 若學習器A 的F1值筆學習器B高，試析A的BEP值是否也比B高。

答：
首先說下概念：

• BEP（Break-Even Point）：是 P=R時的取值
• F1: $F1=\frac{2*P*R}{P+R}$

則：

• 若P=R, 則F1=P=R=BEP，
  • 若$F1_A > F1_B$, 則 $BEP_A >BEP_B$
• 若P != R，在PR曲線上，每個（P，R）點都對應一個F1值，這時可以看出F1和BEP並沒有相關的關係，可以說BEP是F1的特殊情況，並不能代表全局情況。

2.4 試述真正例率（TPR），假正例率（FPR）、查準率（P）、查全率（R）之間的關係。

答：

• $TPR=\frac{TP}{TP+FN}$
• $FPR=\frac{FP}{FP+TN}$
• $P=\frac{TP}{TP+FP}$
• $R=\frac{TP}{TP+FN}$
  由上面的公式可以看出，TPR=R，其他公式之間並沒有關係。

2.5 試證明式（2.21）

式2.22: $AUC=1-l_{rank}$
答：
$AUC=\frac{1}{2}\sum_{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})$
$l_{rank}=\frac{1}{m_+m_-}\sum_{x^+\in{D^+}}\sum_{x^-\in{D^-}}(II(f(x^+)<f(x^-))+\frac{1}{2}II(f(x^+)=f(x^-)))$

公式2.21累加了所有不在正例的反例數目，其中同樣的位置標記爲0.5，在正例前面標記爲1,從圖2.4的ROC曲線可以看出，曲線每次向右上延伸，說明遇到了反例，折線上方對應的面積，就是該反例後面有多少個正例，每個正例是一個正方形，對應的面積是1。同位置上的正例是個三角形，對應的面積是0.5。計算出總面積後，由於ROC圖的座標是歸一化的，所以總面積要除以一開始放大的倍數，也就是$m^+m^−$。
注：圖文參考：https://www.cnblogs.com/daigz1224/p/7163342.html

2.6 試述錯誤率與ROC曲線的關係

答：
ROC曲線每個點對應TPR，FPR
錯誤率 $E(f;D)=\frac{1}{m}\sum_i^mII(f(x_i) !=y_i)=\frac{FP+FN}{m^++m^-}=\frac{FP+m^+-TP}{m^++m^-}=\frac{m^-*\frac{FP}{m^-}+m^+*(1-\frac{TP}{m^+})}{m^++m^-}=\frac{m^- * FPR + m^+ * (1-TPR)}{m^++m^-}$

2.7 試證明任意一條ROC曲線都有一條代價曲線與之對應，反之亦然。

答：
ROC曲線上的每個點對應的是(FPR,TPR)，由此可以得到FPR和FNR，從而繪製上圖中的從（0，FPR）到（1，FNR）的險段，線段下面的面積爲該條件下的期望總體代價，所有線段的下界圍成代價曲線。

2.8 min-max規範化和z-score規範化是兩種常見的規範化方法，令$x$和$x'$分別表示變量在規範化前後的取值，相應的，令$x_{min}$和$x_{ma x}$表示規範化前的最小值和最大值，$x_{min}'$和$x_{max}'$表示規範化後的最小值和最大值，$\bar{x}$和$\sigma_x$分別表示規範化前的均值和標準差，則min-max規範化、z-score規範化分別如下式所示，試分析二者的優缺點。

$x'=x'_{min} + \frac{x-x_{min}}{x_{max}-x_{min}} * (x'_{max}-x'_{min})$
$x'=\frac{x-\bar{x}}{\sigma_x}$
答：

• min−max規範化方法簡單，保證規範化後所有元素都是正的且在（0，1）之間，每當有新的元素進來，只有在該元素大於最大值或者小於最小值時纔要重新計算全部元素。但是若存在一個極大(小)的元素，會導致其他元素變的非常小(大)。
• z−score標準化對個別極端元素不敏感，保證規範化後所有元素都是正的且在（0，1）之間，且把所有元素分佈在0的周圍，一般情況下元素越多，0周圍區間會分佈大部分的元素，每當有新的元素進來，都要重新計算方差與均值。

2.9 試述$\chi^2$ 檢驗過程

答案見：
鏈接

2.10 試述Friedman檢驗中使用試2.34和式2.35的區別

（待更新）