最近想嘗試大數據框架,所以選擇了kylin 當然 druid 框架也是很不錯,不過他有自己特定的語言,不支持SQL,這樣對後期改造項目不方便,另外是kylin團隊是國內維護,中文文檔全,所以就選它來試試手
首生下載
http://kylin.apache.org/download/ 2.6.1 下載安裝版本
http://mirrors.shu.edu.cn/apache/kylin/apache-kylin-2.6.1/apache-kylin-2.6.1-bin-hbase1x.tar.gz
解壓數據包到相應的目錄
[root@p3 itcast]# tar -zxvf apache-kylin-2.6.1-bin-hbase1x.tar.gz
安裝部署環境 我這裏使用的相關版本爲:
JDK8
hadoop-2.7.6
hbase-1.2.7
pache-hive-2.3.4-bin
pache-kylin-2.6.1-bin-hbase1x
配置環境變量
部署使用的用戶爲root 不同系統的配置環境變量文件名不一樣 根目錄下 .bashrc或者etc/profile 配置
export PATH=$PATH:/itcast/hadoop-2.7.6/
#Set HADOOP_HOME
export HADOOP_HOME=/itcast/hadoop-2.7.6
#Set JAVA_HOME
export JAVA_HOME=/home/jdk/jdk1.8.0_181
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HBASE_MANAGES_ZK=true
export PATH=$PATH:/itcast/hbase-1.2.7/bin
export HIVE_HOME=/itcast/apache-hive-2.3.4-bin
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$PATH:$HIVE_HOME/bin
export KYLIN_HOME=/itcast/apache-kylin-2.6.1-bin-hbase1x
export KYLIN_CONF=/itcast/apache-kylin-2.6.1-bin-hbase1x/conf
export tomcat_root=$KYLIN_HOME/tomcat #變量名小寫
export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-2.3.4.jar #變量名小寫
export PATH=$PATH:$KYLIN_HOME/bin
使配置環境變量文件生效
source .bashrc
檢測kylin環境是否有問題:
bin/check-env.sh
[root@p3 bin]# ./check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /itcast/apache-kylin-2.6.1-bin-hbase1x
上面這樣表示成功
啓動kylin
bin/kylin.sh start
主配置$KYLIN_HOME/conf/kylin.properties
先創建工作目錄
使用HDFS超級用戶在HDFS上爲Kylin創建工作目錄,並賦權給root:
hadoop fs -mkdir /kylin
hadoop fs -chown -R root:root /kylin
##hdfs上kylin工作目錄 /kylin.properties配置目錄
kylin.env.hdfs-working-dir=/kylin
配置$KYLIN_HOME/bin/kylin.sh
在文件開頭添加
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX
這麼做的目的是爲了加入$hive_dependency環境,解決後續的兩個問題,都是沒有hive依賴的原因:
a) kylinweb界面load hive表會失敗
b) cube build的第二步會報org/apache/Hadoop/hive/conf/hiveConf的錯誤。
從 v2.6.1 開始, Kylin 不再包含 Spark 二進制包; 您需要另外下載 Spark,然後設置 SPARK_HOME 系統變量到 Spark 安裝目錄:
使用腳本下載: 因爲啓動依賴報錯 可能還有kafka 直接命令安裝,否則啓動kylin會報spark錯
$KYLIN_HOME/bin/download-spark.sh
啓動依賴的必須組件
start-dfs.sh
start-yarn.sh
start-hbase.sh
啓動Hive
啓動 mysql
hadoop-2.7.6/ ./sbin/mr-jobhistory-daemon.sh start historyserver
./kylin.sh start
安裝目錄/hbase-site.xml 添加本機zookeeper peer1 在etc/hosts裏配置了
<property>
<name>hbase.zookeeper.quorum</name>
<value>peer1</value>
</property>
kylin 官方硬件要求 如果達不到去 setenv.sh 配置JVM參數
運行 Kylin 的服務器的最低配置爲 4 core CPU,16 GB 內存和 100 GB 磁盤。 對於高負載的場景,建議使用 24 core CPU,64 GB 內存或更高的配置。
啓動kylin後,並且保證後續數據不錯,必要的進程如下:
[root@p3 /]# jps
4994 NodeManager
14226 Jps
4517 SecondaryNameNode
4331 DataNode
14972 Main
4701 ResourceManager
4190 NameNode
7038 HMaster
14174 JobHistoryServer
7471 RunJar
31631 RunJar
導入官方數據
命令行 $KYLIN_HOME/bin/sample.sh
如果出現Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect,就說明示例cube創建成功了
數據成功後,查看hbase裏的數據
hbase(main):001:0> list
TABLE
ims_tms_habsesql
kylin_metadata
member
tspCompleteCondition
tspVehicleCondition
5 row(s) in 0.3570 seconds
=> ["ims_tms_habsesql", "kylin_metadata", "member", "tspCompleteCondition", "tspVehicleCondition"]
hbase(main):002:0>
查看hive裏的數據 kylin_sales就是導入的數據
hive> use default;
OK
Time taken: 0.09 seconds
hive> show tables;
OK
kylin_account
kylin_cal_dt
kylin_category_groupings
kylin_country
kylin_sales
Time taken: 0.124 seconds, Fetched: 5 row(s)
hive>
然後輸入http://192.168.11.233:7070/kylin
WEB UI界面出現了 默認用戶名 admin/KYLIN 一切搞定
簡單的過程,到此結束