基於Spark的機器學習實踐 (六) - 基礎統計模塊

# 0 [相關源碼](https://github.com/Wasabi1234/Spark-MLlib-Tutorial) # 1 基礎統計模塊及常用統計學知識介紹 ◆ Spark 的基礎統計模塊即MLlib組件中的Basic Statistics部分 ◆ Basic Statistics主要包括Correlation 與Hypothesis testing等 ◆ 其大多被封裝在orq.apache spark.mllib.stat._ 中 ## 1.1 基礎統計學知識 ### 1.1.1 常用的統計學知識 ◆ 描述性統計 平均數,方差,衆數,中位數... ◆ 相關性度量 spark 提供了皮爾遜和斯皮爾曼相關係數,反映變量間相關關係密切程度 ◆ 假設檢驗 根據一定假設條件，由樣本推斷總體的一種統計學方法,spark提供了皮爾森卡方檢測 # 2 實戰統計彙總 ◆ 實戰的數據來源是北京市歷年降水量數據 ◆ 學習使用spark對數據進描述性統計 ◆ 在進行機器學習模型的訓練前,可以瞭解數據集的總體情況 ## 2.1 coding實戰 - 保存降水量文件  - 字符串值   - 實際內容只有一行,讀取到數組的是一個超長字符串,需要進行分割.  - [所需依賴](https://spark.apache.org/docs/latest/mllib-statistics.html#summary-statistics)  - 導入  - val data = txt.flatMap(_.split(",")).map(value => linalg.Vectors.dense(value.toDouble))  - data.take(10)  - 統計方法 - 最大值  - 平均值  # 3 學習相關係數 ## 3.1 相關性度量 ◆ 是一種研究變量之間線性相關程度的量 ◆ 主要學習皮爾遜相關係數:   >幾組(x, y)的點集，以及各個點集中x和y之間的相關係數。我們可以發現相關係數反映的是變量之間的線性關係和相關性的方向（第一排），而不是相關性的斜率（中間），也不是各種非線性關係（第三排）。請注意：中間的圖中斜率爲0，但相關係數是沒有意義的，因爲此時變量Y是0 ## 3.2 實戰相關係數 我們對北京市歷年降水量進行相關性統計,看看年份與降水量之間的相關性有多大   - 過濾   - 相關係數值  # 4 學習假設檢驗 ## 4.1 假設檢驗 ◆ 根據一定假設條件，由樣本推斷總體的一種統計學方法。基本思路是先提出假設(虛無假設),使用統計學方法進行計算,根據計算結果判斷是否`拒絕`假設 ◆ 假設檢驗的統計方法有很多,如卡方檢驗，T檢驗等 ◆ spark實現的是皮爾森卡方檢驗,它可以實現適配度檢測和獨立性檢測 ## 4.2 皮爾森卡方檢驗 最常用的卡方檢驗,可以分爲適配度檢驗和獨立性檢驗 ◆ 適配度檢驗:驗證觀察值的次數分配與理論值是否相等 ◆ 獨立性檢驗:兩個變量抽樣到的觀察值是否相互獨立 ## 4.3 實戰 : 判斷性別與左撇子是否存在關係  - 導入數據  - 計算  否定了假設檢驗,所以性別與左撇子是有關的! # Spark機器學習實踐系列 - [基於Spark的機器學習實踐 (一) - 初識機器學習](https://zhuanlan.zhihu.com/p/61667559) - [基於Spark的機器學習實踐 (二) - 初識MLlib](https://zhuanlan.zhihu.com/p/61784371) - [基於Spark的機器學習實踐 (三) - 實戰環境搭建](https://zhuanlan.zhihu.com/p/61848834) - [基於Spark的機器學習實踐 (四) - 數據可視化](https://zhuanlan.zhihu.com/p/61868232) - [基於Spark的機器學習實踐 (六) - 基礎統計模塊](https://zhuanlan.zhihu.com/p/62241911)