應用背景：在前面一些圖像處理相關的文章中，已經說到圖像的特徵提取，在選擇好一些主要特徵之後，那麼我們用這些特徵做什麼用呢，我們的主要目的是利用這些特徵對圖像進行分類。接下來的問題是怎麼分類，這裏介紹最近鄰分類，它是一種最簡單的分類方法。
基本思想：最近鄰分類，顧名思義，距鄰居最近，則與鄰居同類。也就是說，一個待分類的單個樣本A，放入已分好類的多個樣本羣Q中，從Q中選擇k個A的鄰居，通過計算A與鄰居之間的某種關係後得出A與這k個鄰居最相似，那麼就把A分爲這k個鄰居中出現次數最多的類，因此最近鄰分類也稱k最近鄰分類（k nearest neighbor, KNN）。這種分類方法基本分類3步：1、找待分類樣本與已分類樣本之間的關係，這裏指計算它們之間的距離；2、找距離最近的k個已分類的樣本；3、分類，從這k個樣本中找出出現次數最多的類，那麼待分類樣本屬於該類。
數學原理：在特徵空間中，把每個類的所有樣本的平均值表示爲該類，則第i類樣本的均值爲：
其中，Ni爲第i類樣本的樣本數目，Wi爲第i類樣本集合，W爲總類別數目。
樣本之間的距離取歐氏距離，當對一個未知模式 x 進行分類時，需要分別計算 x 與各個類的歐氏距離，如下式所示
其中，|| x-mi ||=((x-mi)^T(x-mi))^1/2，表示歐幾里得範數，即向量的模。
轉自：http://blog.csdn.net/yi_tech_blog/article/details/70184931
