什麼是決策樹？
對於線性不可分的數據，我們就要採用非線性決策的方法，決策樹就是非線性決策分類器的一種（我們只討論用於分類的決策樹）。
決策樹，英文： Decision Tree, 是一種基本的分類與迴歸方法。決策樹模型呈樹形結構，它可以認爲是一個if-then的規則集合，也可以認爲是定義在特徵空間與類空間上的條件概率分佈。決策樹模型的主要特點就是具有可讀性、分類速度快，通常包括三個步驟特徵選擇、決策樹的生成和決策樹的修剪。
決策樹模型
分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由節點node和有向邊directed edge 組成。結點有兩種類型：內部結點internal node和葉子結點leaf node。內部結點表示一個特徵或屬性，而葉結點表示一個類。
我們以一個簡單的決策樹爲例：
過程如下：從根節點開始，對實例的某一個特徵進行測試（比如上圖從根節點先