第2章 模型評估與選擇
p24-p51 2017-2-24 Fri
Model selection模型選擇：選用哪種學習算法、使用哪種參數配置
（理想的解決方案：對候選模型的泛化誤差進行評估，再選擇泛化誤差最小的那個模型）
（通過實驗來對學習器的泛化誤差進行評估並進而做出選擇）
Hold-out留出法：將數據集劃分爲兩個互斥的集合，一個訓練集，一個測試集
（其劃分要儘可能保持數據分佈的一致性，避免因數據劃分過程引入額外的偏差而對最終結果產生影響）
Cross validation交叉驗證法（又稱k-fold cross validationk折交叉驗證）
：1. 將數據集劃分爲k個大小相似的互斥子集（每個子集都儘可能保持數 據分佈的一致性）
2. 每次用k-1個子集的並集作爲訓練集，餘下的那個子集作爲測試集
（此方法評估結果的穩定性和保真性在很大程度上取決於k的取值）
（k常取10，即10折交叉驗證）
Bootstrapping自助法：給定包含m個樣本的數據集D，對它進行採樣產生數據集D’；
每次隨機從D中挑選一個樣本，將其拷貝放入D’；
再將該樣本放回初始數據集D中（該樣本在下次採樣時仍有可能被採到）
重複執行m次，得到包含m個樣本的D’
（D中有一部分樣本會在D’中多次出現，而另一部分樣本不出現）
（通過自助採樣，初始數據集D中約有36.8%的樣本未出現在D’中）
（可以D’用作訓練集）
Normalization規則化：將不同變化範圍的值映射到相同的固定範圍中，常見的是[0,1]，此時亦稱歸一化。
機器學習中性能比較涉及的重要因素：
1. 我們希望比較泛化性能，而通過實驗評估方法獲得的是測試集上的性能，兩者的對比結果可能 未必相同
2. 用相同大小的測試集，若包含的測試樣例不同，測試結果會不同
3. 很多機器學習算法本身有一定的隨機性，即便用相同的參數設置在同一個測試集上多次運行， 其結果也會有不同
偏差：度量了學習算法的期望預測與真實結果的偏離程度，即刻畫了學習算法本身的擬合能力
方差：度量了變動所導致的學習性能的變化，即刻畫了數據擾動所造成的影響
噪聲：表達了在當前任務學習上任何學習算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度
泛化性能是由學習算法的能力、數據的充分性、以及學習任務本身的難度所共同決定。
給定學習任務，爲取得好的泛化性能，需要：1. 使偏差較小——能充分擬合數據
2. 使方差較小——使數據擾動產生的影響小
