決策樹

分類的作用

確定對象屬於哪個預定義的目標類,並且類標號必須是離散的。迴歸裏面是連續的。

分類的定義

得到一個目標函數f,把每個屬性集x映射到一個預定義的類標號y。 目標函數也稱爲分類模型。

分類的目的

1. 描述性建模
2. 預測性建模

適合範圍

1. 比較適合標稱的或者二元的
2. 不怎麼適合序數 比如{高收入,中收入,低收入}

注意

1. 多路劃分的Gini指標比兩個二元劃分都小。
2. 都容易去選擇多分支的

特點

1. 是一種構建分類模型的非參數方法。 不要求任何先驗假設,不假定類和其他屬性服從一定的概率分佈。
2. 建立好後分類很快
3. 容易理解
4. 對噪聲的干擾具有很好的魯棒性
5. 存在數據碎片的問題
6. 決策邊界是平行於座標軸的，如果只是使用單個屬性的測試條件不能很好的劃分

誤差

1. 訓練誤差
2. 泛化誤差