文章目錄
I . K-Means 算法在實際應用中的缺陷
1 . K-Means 算法中中心點選擇是隨機的 : 隨機地選擇聚類分組的中心點 ;
① 選擇實點 : 可以選擇實點 ( 當前現有的樣本值 ) 作爲聚類中心點 ;
② 生成虛點 : 也可以選擇生成虛點 ( 任意位置模擬出一個樣本點 ) 作爲中心點 ;
2 . 必須事先設置聚類分組個數 值 : 開始的時候並不知道將數據集分成幾組能達到最佳的分組效果 ;
① 學習出 值 : 使用其它聚類方法 , 先將數據集學習一遍 , 確定聚類分組個數 ;
② 多次聚類 : 選取不同的 聚類分組個數 , 然後看取什麼值可以達到最好的聚類分組效果 ;
3 . 最佳實踐 : 運行多次 K-Means 方法 , 選取不同的 值 , 以及不同的聚類分組個數 ;
II . K-Means 初始中心點選擇不恰當
下面的數據集 , 如果使用肉眼觀察 , 選擇的中心點是如下綠色的點 , 但是如果隨機選擇中心點 , 加入選擇的很差 , 如下圖中的紅色點作爲中心點 , 那麼迭代之後的聚類分組如下圖所示 , 明顯該聚類分組不是最佳分組 ;
① 肉眼觀察 3-NN 聚類分組 比較合適的中心點距離 :
② 隨機選擇中心點後的聚類分組 : 這是隨機選擇的分組 , 顯然這不是最佳分組 ;
選擇的初始的中心點太垃圾 , 會導致多次迭代 , 即使算法收斂 , 多次迭代計算的聚類分組不再改變 , 得到結果也可能是不準確的 ;
這是基於距離 ( 劃分 ) 的聚類方法的固有缺陷 ;
III . K-Means 優點 與 弊端
1 . K-Means 好處是 : 簡單 , 容易理解 , 性能較高 , 能很快計算出聚類結果 ;
2 . K-Means 弊端 : 只能找出球形的聚類分組 , 對異常點 和 噪音 非常敏感 , 如果有一個異常點 , 就會導致聚類分組不準確 , 魯棒性差 ;
3 . K-Means 無法處理的情況 : 如下面的聚類 , 將不同形狀的樣本分開 , 需要識別出凹形的模式 , K-Means 無法完成該聚類操作 ;
IV . 基於密度的聚類方法
1 . 基於密度的聚類方法 :
① 方法迭代原理 : 相鄰區域的密度 , 即 單位空間內 數據樣本 點的個數 , 超過用戶定義的某個閾值 , 那麼該區域需要進行聚類 , 如果低於某個閾值 , 聚類停止 , 算法終止 ;
② 聚類分組前提 : 如果想要將多個 數據樣本 劃分到一個聚類分組中 , 那麼這些樣本的分佈必須達到一定的密度 , 即在某個範圍大小區域內 , 該樣本點必須達到一定的數目 ; 具體的數量個數 根據空間大小 , 和 密度計算出來 ;
2 . 示例 : 如 , 先定義好 , 如果進行聚類 , 必須在 平面內至少有 個樣本 , 給定一個區域內的點 , 如果該區域的樣本密度值大於 , 就劃分到一個聚類中 ; 如果該區域是 大小 , 那麼只需要有 個就能進行聚類 , 如果這個區域是 , 必須有 個樣本才能聚類成一組 ;
3 . 基於密度聚類好處 : 該方法可以排除 異常點 , 噪音數據 , 魯棒性很好 ;
4 . 基於密度的聚類方法涉及到的參數 : 密度閾值 , 聚類區域範圍 ;
V . 基於密度的聚類方法 DBSCAN 方法
DBSCAN 方法 :
① 全稱 : Density Based Spatial Clustering of Application with Noise , 基於密度兼容噪音的空間聚類應用 算法 ;
② 聚類分組原理 : 數據樣本 與 存在 密度連接 關係 , 那麼 和 這兩個樣本應該劃分到同一個聚類中 ;
③ 噪音識別原理 : 數據樣本 與 任何樣本 不存在 密度連接 關係 , 那麼 樣本 就是噪音數據 ;
VI . -鄰域
1 . -鄰域 : 這是一個範圍定義 , 給定一個數據樣本對象 , 以該樣本爲中心 , 指定一個半徑 , 形成一個範圍區域 , 組成了該樣本的 -鄰域 ;
2 . -鄰域示例 : 如果是二維平面該範圍區域是一個圓 , 如果是三維平該範圍區域是一個球 ;
3 . -鄰域圖示 : 下面的紅點就是樣本點 , 以紅點爲圓心 , 以 爲半徑的 淺綠色區域 , 就是 -鄰域 ;
VII . 核心對象
1 . 核心對象 : 在一個樣本對象 的 -鄰域 中 , 有超過一定 閾值 ( 最小數量 ) 的 樣本對象分佈 , 那麼該樣本對象 就是核心對象 ;
2 . 核心對象 圖示 : 如果該閾值 ( 最小數量 ) 設置成 , 那麼該 -鄰域 中有 個點 , 超過了最小閾值 , 紅色 的 中心點 數據樣本 是 核心對象 ;
VIII . 直接密度可達
1 . 直接密度可達 : Directly Density Reachable ( DDR ) ;
① 概念 : 樣本 是核心對象 ( 以 爲中心 -鄰域 中超過閾值個數的樣本 ) , 樣本 在其 -鄰域 中 , 那麼 稱爲 直接密度可達 ; 注意方向 , 從 出發直接密度可達 ;
② 直接密度可達有兩個條件 : ① 起點必須是核心對象 , ② 終點必須在起點的 -鄰域 中 ;
2 . 直接密度可達的注意點 :
① 單向概念 : 注意該概念是單向的概念 , 樣本出發 , 可以 直接密度可達 , 反過來是不行的 ; 出發不一定能到 ;
② 直接密度可達 起點 : 只有 核心對象 纔有資格 發起密度可達 概念 , 不是核心對象 , 沒有資格作爲起點 ;
③ 直接密度可達 性質 : 如果 是核心對象 , 那麼從 出發 , 可以直接密度可達其 -鄰域 中所有的樣本點 ;
④ 如果 不是核心對象 , 那麼沒有直接密度可達的概念 ;
3 . 圖示 : 紅色點 是核心對象 , 在其 -鄰域 中 , 直接密度可達 ;
IX . 密度可達
1 . 密度可達 : 密度可達 , 存在一個 由 核心對象 組成的鏈 , 直接密度可達 , 直接密度可達 , , 直接密度可達 , 此時稱爲 密度可達 ;
2 . 鏈 上的核心對象要求 : 鏈的起點 , 和經過的點 , 必須是核心對象 , 鏈的最後一個點 , 可以是任意對象 ;
3 . 密度可達 與 直接密度可達區別 : 密度可達 與 直接密度可達 的概念在於 是直接可達 , 還是 間接可達 ;
4 . 密度可達圖示 : 直接密度可達 , 直接密度可達 , 密度可達 ;
X . 密度連接
1 . 密度連接 : 和 兩個樣本 , 存在一箇中間樣本對象 , 到 是 密度可達 的 , 到 是 密度可達 的 ;
2 . 密度連接方向 : 可以密度連接 和 樣本 , 但是 和 不一定能走到 , 它們可能不是核心對象 ;
3 . 核心對象要求 : 以及到 樣本 或者 樣本 中間的樣本都必須是核心對象 , 但是 和 兩個對象不要求是核心對象, 它們可以是普通的樣本點 ;
4 . 密度連接圖示 : 下圖中 , 樣本點 密度可達 和 , 那麼 和 是密度連接的 ; 其中 不是核心對象 , 是核心對象 ;