kylin單機版搭建OLAP

   最近想嘗試大數據框架,所以選擇了kylin 當然 druid 框架也是很不錯,不過他有自己特定的語言,不支持SQL,這樣對後期改造項目不方便,另外是kylin團隊是國內維護,中文文檔全,所以就選它來試試手

首生下載

http://kylin.apache.org/download/ 2.6.1 下載安裝版本

http://mirrors.shu.edu.cn/apache/kylin/apache-kylin-2.6.1/apache-kylin-2.6.1-bin-hbase1x.tar.gz

解壓數據包到相應的目錄

 

[root@p3 itcast]#  tar -zxvf apache-kylin-2.6.1-bin-hbase1x.tar.gz 

安裝部署環境  我這裏使用的相關版本爲:

JDK8

hadoop-2.7.6

hbase-1.2.7

pache-hive-2.3.4-bin

pache-kylin-2.6.1-bin-hbase1x

配置環境變量

部署使用的用戶爲root 不同系統的配置環境變量文件名不一樣  根目錄下 .bashrc或者etc/profile 配置

 

export PATH=$PATH:/itcast/hadoop-2.7.6/
#Set HADOOP_HOME
export HADOOP_HOME=/itcast/hadoop-2.7.6
#Set JAVA_HOME
export JAVA_HOME=/home/jdk/jdk1.8.0_181
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HBASE_MANAGES_ZK=true
export PATH=$PATH:/itcast/hbase-1.2.7/bin

export HIVE_HOME=/itcast/apache-hive-2.3.4-bin
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$PATH:$HIVE_HOME/bin

export KYLIN_HOME=/itcast/apache-kylin-2.6.1-bin-hbase1x
export KYLIN_CONF=/itcast/apache-kylin-2.6.1-bin-hbase1x/conf
export tomcat_root=$KYLIN_HOME/tomcat   #變量名小寫
export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-2.3.4.jar   #變量名小寫

export PATH=$PATH:$KYLIN_HOME/bin

使配置環境變量文件生效

source .bashrc

檢測kylin環境是否有問題:

bin/check-env.sh
[root@p3 bin]# ./check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /itcast/apache-kylin-2.6.1-bin-hbase1x
上面這樣表示成功

啓動kylin
bin/kylin.sh start

 

主配置$KYLIN_HOME/conf/kylin.properties

先創建工作目錄
使用HDFS超級用戶在HDFS上爲Kylin創建工作目錄,並賦權給root:
hadoop fs -mkdir /kylin
hadoop fs -chown -R root:root /kylin

##hdfs上kylin工作目錄  /kylin.properties配置目錄 
kylin.env.hdfs-working-dir=/kylin

配置$KYLIN_HOME/bin/kylin.sh

在文件開頭添加

export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

這麼做的目的是爲了加入$hive_dependency環境,解決後續的兩個問題,都是沒有hive依賴的原因:

a) kylinweb界面load hive表會失敗

b) cube build的第二步會報org/apache/Hadoop/hive/conf/hiveConf的錯誤。

從 v2.6.1 開始, Kylin 不再包含 Spark 二進制包; 您需要另外下載 Spark,然後設置 SPARK_HOME 系統變量到 Spark 安裝目錄:

使用腳本下載: 因爲啓動依賴報錯 可能還有kafka  直接命令安裝,否則啓動kylin會報spark錯

 

$KYLIN_HOME/bin/download-spark.sh

 

啓動依賴的必須組件

 

   start-dfs.sh
   start-yarn.sh
   start-hbase.sh
   啓動Hive
   啓動 mysql  
   hadoop-2.7.6/    ./sbin/mr-jobhistory-daemon.sh  start  historyserver
  ./kylin.sh start

安裝目錄/hbase-site.xml 添加本機zookeeper   peer1 在etc/hosts裏配置了

 <property>
        <name>hbase.zookeeper.quorum</name>
        <value>peer1</value>               
    </property> 

 

kylin 官方硬件要求 如果達不到去 setenv.sh 配置JVM參數

運行 Kylin 的服務器的最低配置爲 4 core CPU,16 GB 內存和 100 GB 磁盤。 對於高負載的場景,建議使用 24 core CPU,64 GB 內存或更高的配置。

啓動kylin後,並且保證後續數據不錯,必要的進程如下:

[root@p3 /]# jps
4994 NodeManager
14226 Jps
4517 SecondaryNameNode
4331 DataNode
14972 Main
4701 ResourceManager
4190 NameNode
7038 HMaster
14174 JobHistoryServer
7471 RunJar
31631 RunJar

導入官方數據

命令行  $KYLIN_HOME/bin/sample.sh

如果出現Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect,就說明示例cube創建成功了

數據成功後,查看hbase裏的數據

hbase(main):001:0> list
TABLE                                                                                                                                                                                                                                     
ims_tms_habsesql                                                                                                                                                                                                                          
kylin_metadata                                                                                                                                                                                                                            
member                                                                                                                                                                                                                                    
tspCompleteCondition                                                                                                                                                                                                                      
tspVehicleCondition                                                                                                                                                                                                                       
5 row(s) in 0.3570 seconds

=> ["ims_tms_habsesql", "kylin_metadata", "member", "tspCompleteCondition", "tspVehicleCondition"]
hbase(main):002:0> 

查看hive裏的數據 kylin_sales就是導入的數據

hive> use default;
OK
Time taken: 0.09 seconds
hive> show tables;
OK
kylin_account
kylin_cal_dt
kylin_category_groupings
kylin_country
kylin_sales
Time taken: 0.124 seconds, Fetched: 5 row(s)
hive> 

然後輸入http://192.168.11.233:7070/kylin 

WEB UI界面出現了 默認用戶名 admin/KYLIN 一切搞定

 

 

 

簡單的過程,到此結束

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章