機器學習算法總結——KNN

定義理解

• 在樣本集中的數據是之前已經分類完成的，當要給新的特徵進行分類時，將它與樣本的特徵進行距離比較，選擇前K個最相似的特徵。其結果很大程度上取決於K的選擇
• 此處距離可以選擇歐式距離、曼哈頓距離、餘弦相似度
• 歐式距離：$d=\sqrt{(x_{2}-x_{1})^2+(y_{2}-y_{1})^2}$
• 曼哈頓距離：$d=|x_{1}-x_{2}|+|y_{1}-y_{2}|$
• 餘弦相似度：$d=\frac{\sum_{1}^{n}x_{i}y_{i}}{\sqrt{\sum_{1}^{n}x_{i}^2}\sqrt{\sum_{1}^{n}y_{i}^2}}$
  

KNN算法的描述

• 計算待測特徵與樣本集的距離
• 對距離進行排序
• 選出K個最小距離的類別作爲候選類別
• 根據候選類別分類