《機器學習》（周志華）學習筆記（二）模型評估與選擇

一、經驗誤差與過擬合

誤差：學習器的實際預測輸出與樣本的真實輸出之間的差異。

訓練誤差：學習器在訓練集上的誤差。

泛化誤差：在新樣本上的誤差。

過擬合與欠擬合問題

P.S NP問題爲非確定性多項式（non-deterministic polynomial），只可用一定數量的運算解決多項式時間內可解決的問題（多項式時間：在計算複雜度理論中，指的是一個問題的計算時間m(n)不大於問題大小n的多項式倍數）

參考博文：http://blog.csdn.net/u014295667/article/details/47090639

二、評估方法

1、留出法

將數據集D劃分成兩個互斥的集合，其中一個集合作爲訓練集S，另一個作爲測試集T，即D=S∪T，S∩T=Φ