spark ml 源碼分析

git上找到的一個大神寫的spark ml源碼分析，非常詳盡

地址：https://github.com/endymecy/spark-ml-source-analysis         

spark機器學習算法研究和源碼分析

  本項目對spark ml包中各種算法的原理加以介紹並且對算法的代碼實現進行詳細分析，旨在加深自己對機器學習算法的理解，熟悉這些算法的分佈式實現方式。

本系列文章支持的spark版本

  本系列文章大部分的算法基於spark 1.6.1，少部分基於spark 2.x。

本系列的目錄結構

  本系列目錄如下：

• 數據類型
• 基本統計
  • summary statistics（概括統計）
  • correlations（相關性係數）
  • tratified sampling（分層取樣）
  • hypothesis testing（假設檢驗）
  • random data generation（隨機數生成）
  • Kernel density estimation（核密度估計）
• 協同過濾
  • 交換最小二乘
• 分類和迴歸
  • 線性模型
    • SVMs(支持向量機)
    • 邏輯迴歸
    • 線性迴歸
    • 廣義線性迴歸
  • 樸素貝葉斯
  • 決策樹
  • 組合樹
    • 隨機森林
    • 梯度提升樹
  • 生存迴歸
  • 保序迴歸
• 聚類
  • k-means||算法
  • GMM（高斯混合模型）
  • PIC（快速迭代聚類）
  • LDA（隱式狄利克雷分佈)
  • 二分k-means算法
  • 流式k-means算法
• 最優化算法
  • 梯度下降算法
  • 擬牛頓法
  • NNLS(非負最小二乘)
  • 帶權最小二乘
  • 迭代再加權最小二乘
• 降維
  • EVD（特徵值分解）
  • SVD（奇異值分解）
  • PCA（主成分分析）
• 特徵抽取和轉換
  • 特徵抽取
    • TF-IDF
    • Word2Vec
    • CountVectorizer
  • 特徵轉換
    • Tokenizer
    • StopWordsRemover
    • n-gram
    • Binarizer
    • PolynomialExpansion
    • Discrete Cosine Transform (DCT)
    • StringIndexer
    • IndexToString
    • OneHotEncoder
    • VectorIndexer
    • Normalizer(規則化)
    • StandardScaler（特徵縮放）
    • MinMaxScaler
    • MaxAbsScaler
    • Bucketizer
    • ElementwiseProduct(元素智能乘積)
    • SQLTransformer
    • VectorAssembler
    • QuantileDiscretizer
  • 特徵選擇
    • VectorSlicer
    • RFormula
    • ChiSqSelector(卡方選擇器)