原创 07 數據分析- 決策性分析

決策性分析 通過數據分析、挖掘確定事件的最佳執行方案,以增加收入、降低成本、提升效率、控制風險的目的 決策 大決策 決策頻率低,單次決策影響大,價值高 目標:提供決策支持,幫助決策人員做出最佳決策 小決策 決策頻率高,單次決策影響

原创 06數據分析 - 預測性分析

預測性分析 分類 決策樹算法 計算步驟: 選擇對象的一個特徵,並根據這一特徵對訓練集進行分類 計算某特徵分類後分類結果的混亂程度 (使用基尼係數,係數越小越接近根結點) 以混亂程度最低爲原則,確定最佳節點 刪除不必要的節

原创 05 數據分析 - 診斷性分析方法

診斷性分析: 根據業務邏輯,通過數據尋找引起最終結果的原因和可以改變未來結果的方法 分析目的 解決問題 壞的結果 -> 產生問題的原因和解決的方案 發現機會 好的結果 -> 在機會出現的時候發現機會 分析步驟 List

原创 04數據分析- 描述性分析方法

描述性分析方法 描述性分析目的是描述現實,發現問題 全鏈路描述性方法的步驟: 1. 確定描述對象 2. 明確業務目標,熟悉業務邏輯 3. 分割業務環節,確定關鍵節點 4. 利益關係人及關係人的關注點 5. 確定可以描述分析對象的指

原创 03 數據分析之分佈分析

分佈分析 對數據的分佈情況進行描述,從而對事件的發生規律有準確的認識 定量數據 目的是可以讓我們瞭解: 事件發生的一般結果是什麼 --集中趨勢 事件結果的變化情況 – 離中趨勢 事件各個結果的發生概

原创 02 數據分析-數據指標與質量

數據指標 根據數據統計或數據分析得到的反映或評價某一事件的數據 指標的屬性: 業務屬性 —— 名稱、計算邏輯、描述對象、時效和查詢權限等 技術屬性 —— 系統來源、取數字段、取數頻率、加工規則 指標的類別 1. 按照統計方式分

原创 01 數據分析的四個等級

馬爸爸說:未來30年,90%的企業都不得不變數據化,未來30年數據將取代石油,成爲真正最強大的能源。 目前已經有1年多沒有正式工作了,一直在嘗試些不同的東西。最近覺得是時候系統的學習下數據分析了,希望後面能找到數據分析師的工作,先立個fl

原创 Linux 命令之 sed

sed stream editor的縮寫. 流編輯器,用程序的方式來編輯文本,相當的hacker啊。 sed基本上就是玩正則模式匹配,所以,玩sed的人,正則表達式一般都比較強。 AWK之所以叫AWK是因爲其取了三位創始人

原创 解決hive表註釋亂碼

環境 cdh5.8.3 + hive 1.1.0。 hive 元數據庫用的是mysql 創建表後,用desc 在hive中查看錶信息,註釋顯示亂碼。解決方案如下: 1 進入mysql ,執行 show create databa

原创 Mac Item2 SSH免密登錄Linux 服務器的兩種方式

mac ssh登錄linux服務器 的兩種方式: 個人推薦第二種,zsh方式,只需要把公鑰copy到目標服務器,設置別名就可以全用,方便快捷。 一、 使用item2的profiles 和expect腳本 配置步驟: 1.

原创 Windows下nginx + tomcat 配置

寫了一個 webservice 服務,給其他系統測試使用,如果直接在eclipse裏啓動,自己編寫代碼時,就會影響別人使用,於是搭了一個nginx供其他開發人員使用。 網上大部分教程人都有這個說明: Tomcat服務器作爲一個W

原创 Nodejs Blob流方式下載

在做項目的過程中需要根據查詢出的數據直接用csv方式下載,但是數據量較大時用dataURL方式下載會報下載失敗,但後臺與前臺代碼均無報異常,嘗試用Blob流下載發現沒有這個問題,Blob下載代碼如下: var fileName =

原创 macbook 安裝多版本jdk環境

本人macbook pro 本身裝了jdk 1.8但是有時候別人的項目需要用jdk1.7,這就需要裝多個版本的jdk,這時多版本的切換就是一個問題。 方法如下: 1 . oracle官網下載jdk7 ,當然如果你要裝其他版本也是

原创 Java 數字格式化 DecimalFormat

今天寫代碼的時候,需要對計算後的數劇格式化,google 發現 Java 提供的 DecimalFormat 類可以很方便的進行此類操作。 DecimalFormat 類主要靠 # 和 0 兩種佔位符號來指定數字長度。 0 表示

原创 Redis-cli 命令

Redis提供了豐富的命令(command)對數據庫和各種數據類型進行操作,這些command可以在Linux終端使用。在編程時,比如使用Redis 的Java語言包,這些命令都有對應的方法。下面將Redis提供的命令做一總結。