西瓜書第一章總結

1.版本空間

在對假設空間進行搜索的過程中，不斷的刪除與正例不一致的假設以及與反例一致的假設，最終會獲得與訓練集一致的假設，由於現實問題中常常面臨很大的假設空間，而學習過程是基於有限樣本訓練集進行的，所以可能會有多個假設和訓練集一致，該多個假設組成的假設集合稱爲版本空間。

2.沒有免費的午餐定理

對於一個學習算法λa，若它在某些問題上比學習算法λb好，則必然在另一些問題上，在那裏λb比λa好。下面進行簡單證明
假設樣本空間X和假設空間H都是離散的。令P(h|X‘,λa)代表算法λa基於訓練數據X’產生假設h的概率
，令f代表希望學習的真實目標函數，λa的訓練集外誤差即λa在訓練集之外的所有樣本上的誤差爲

考慮二分類問題，且真實目標函數可以是任何函數X->{0,1}，函數空間爲{0,1}^|x|，對所有可能的f按照均勻分佈對誤差求和，有


上式表明，總誤差與學習算法無關，即對於任意兩個學習算法λa和λb

引申(課後習題)
上述採用分類錯誤率作爲性能度量來進行對分類器進行評估。若換用其他性能度量L,則上式將改爲

,試證明沒有免費的午餐定理仍成立
證明如下

將l(h(x),f(x))看作損失函數，則
爲定值，設該定值爲M,
即上式等價於
即

參考文獻

[1] 周志華.[機器學習]