原创 caravel的安裝
centos6.5 64位 python 升級 下載python wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz 解壓python tar -xzvf
2020-06-16 07:51:15
1
原创 CDH 中組件升級問題(hive爲例）
下面是一個例子，僅供參考： 基於CM搭建的CDH集羣之hive組件升級過程（hive0.13.1升級到hive-1.2.1且確保納入CM管理） 1、在hive0.13.1版本下創建lib121目錄 [Bash shell] 純文本查看 複
2020-06-16 07:51:15
原创 Druid.io 部署&使用文檔
1.集羣模式下部署 Prerequisites : Java 7 or higher & Zookeeper & mysql 下載Druid.io : curl -O http://static.druid.io/artifac
2020-06-16 07:51:15
1
原创 Druid部署總結
介紹 前面幾個章節對Druid的整體架構做了簡單的說明，本文主要描述如何部署Druid的環境 Imply提供了一套完整的部署方式，包括依賴庫，Druid，圖形化的數據展示頁面，SQL查詢組件等。本文將基於Imply套件進行說明 單
2020-06-16 07:51:14
2
原创 Apache Kylin Buid Cube詳細流程2
1、 Cube的物理模型 Cube物理模型 如上圖所示，一個常用的3維立方體，包含：時間、地點、產品。假如data cell 中存放的是產量，則我們可以根據時間、地點、產品來確
2020-06-16 07:51:14
1
原创 基於Spark 2.0.0搭建Hive on Spark環境
一、運行環境 CentOS 7.2 Hadoop 2.7 Hive 2.2.0 Spark 2.0.0 JDK 1.7 Scala 2.11.8 Maven 3.3.9 說明：Scala 2.11.8以後的版本只支持JD
2020-02-23 08:34:07
原创 Druid單機測試與數據加載方法
http://druid.io/docs/0.10.1/tutorials/quickstart.html （1）Getting started 下載安裝Druid: curl -O http://static.druid
2020-02-23 08:34:07
原创 kylin2.1.0+cdh5.10.1+安裝部署+官方測試例子詳細教程
CDH環境下kylin的安裝教程 1.軟件版本介紹: cdh5.10.1 Kylin: 2.1.0 2.環境檢查 環境中需要啓動的角色: Hive Metastore Server yarn的J
2020-02-23 08:34:07
原创 Apache kylin 原理和架構
Apache Kylin™是一個開源的分佈式分析引擎，提供Hadoop之上的SQL查詢接口及多維分析（OLAP）能力以支持超大規模數據，最初由eBay Inc. 開發並貢獻至開源社區。它能在亞秒內查詢巨大的Hive表。 1.基本原理
2020-02-23 08:34:07
原创 caravel連接druid
第一步 、安裝caravel之後，登錄caravel後出現以下界面： 第二步： 第三步： 第四步： 第五步：save之後 會出現： 第六步：刷新metedata 第七步：出現的結果如下： 拉手網BI團隊。
2020-02-23 08:34:07
原创 Apache Kylin Cube構建算法
逐層算法 在介紹快速Cube算法之前，我們先簡單回顧一下現有的算法，也稱之爲“逐層算法”（By Layer Cubing）。 我們知道，一個N維的完全Cube，是由：1個N維子立方體（Cuboid）， N個（N-1）維Cuboid,
2020-02-23 08:34:07
原创 Apache Kylin Buid Cube詳細流程
Build Cube流程主要分爲四個階段： 根據用戶的cube信息計算出多個cuboid文件根據cuboid文件生成htable更新cube信息回收臨時文件1.流程一：作業整體描述 把構建Cube的來源表總行數寫到指定的HDF
2020-02-23 08:34:07
原创 Apache Kylin Cube 的存儲
簡單的說Cuboid的維度會映射爲HBase的Rowkey，Cuboid的指標會映射爲HBase的Value。 Cube映射成HBase存儲 如上圖原始表所示：H
2020-02-23 08:34:07
原创 學習博客
##大數據之實時計算 Spark Streaming 源碼解析系列 https://github.com/lw-lin/CoolplaySpark/blob/master/Spark Streaming 源碼解析系列/readme.md
2018-10-27 04:33:01
原创 獲取時間區間的每天日期
#!/bin/bash date1="$1" date2="$2" echo "date1: $date1" echo "date2: $date2" tempdate=`date -d "-0 day $date1" +%Y%m%d`
2018-10-27 04:33:01