環境:
三臺hadoop集羣,hive,hbase,zookeeper
三臺機器內網互相通信,配置有一個外網ip,使用nginx端口映射
kylin安裝:
安裝部分參考文檔:
https://blog.csdn.net/seashouwang/article/details/77869773
https://www.cnblogs.com/itboys/p/6322421.html
1.從官網根據集羣軟件版本下載想要安裝的版本
http://kylin.apache.org/cn/download/
2.解壓並配置環境變量
export KYLIN_HOME=/home/apps/application/cluster/apache-kylin-2.4.0-bin-hbase1x
PATH=$PATH:$KYLIN_HOME/bin
3.打開相關服務,需要啓動zookeeper(zkServer.sh),hadoop包括(start-all.sh和mr-jobhistory-daemon.sh start historyserver),還有start-hbase.sh
啓動kylin前先執行check-env.sh,執行後沒問題就可以執行kylin.sh start.運行成功後就可以打開http://<hostname>:7070/kylin查看頁面
5.執行kylin/bin下面的sample.sh,測試軟件,參考官方文檔http://kylin.apache.org/cn/docs/tutorial/kylin_sample.html
常見情況參考文檔:
https://blog.csdn.net/seashouwang/article/details/77867188
https://blog.csdn.net/dirful/article/details/74012473
https://blog.csdn.net/zhangxiaomei1952/article/details/79273542
https://blog.csdn.net/xiaoshunzi111/article/details/71131876
後續可優化參考文檔:
http://kylin.apache.org/cn/docs/tutorial/cube_build_performance.html
https://blog.csdn.net/qqpy789/article/details/77479998
kylin集羣:設置兩個參數
1、kylin.server.mode=all,job,query (這個決定了當前kylin節點所擔任的角色，一個Kylin集羣只能有一臺作業引擎，也即只能有一臺節點的這個配置項目爲all或者job ， 可以有多臺query節點)
2、kylin.rest.servers=172.23.0.21:7070,172.23.0.22:7070,172.23.0.30:7070（這個配置項是Kylin用來同步各個節點的狀態的，
否則負載均衡下面跳轉到不同的頁面看到的不一致)
安裝過程中遇到的一些問題:
1.啓動失敗,顯示Failed to find metadata store by url: kylin_metadata@hbase
HBase日誌顯示The table kylin_metadata does not exist in meta but has a znode. run hbck to fix inconsistencies.
(1)進入zookeeper/bin運行zkCli.sh模式
(2)ls /hbase/table命令查看是否有bigdata這個表
(3)使用rmr /hbase/table/kylin_metadata命令刪除表
(4)重啓Hbase
2.訪問http://<hostname>:7070/kylin,頁面顯示不全,沒有登錄功能,請求js成功,但是沒顯示出來
原因:當代理文件大小超過配置的proxy_temp_file_write_size值時，nginx會將文件寫入到臨時目錄下（默認爲/proxy_temp）。
如果nginx對/proxy_temp沒有權限，就寫不進去。
解決辦法:調整/proxy_temp權限爲配置nginx的那個用戶。
chown -R www:www /usr/local/nginx/proxy-temp
3.kylin的sample.sh運行成功,但是build的時候失敗,找不到hive中的相關表格
可能原因:hive元數據可能被刪除過,導致無法顯示,實際上可以使用kylin
4.build cube運行至發生Load HFile to HBase Table Failed
BulkLoad encountered an unrecoverable problem
錯誤信息:Wrong FS: hdfs://apps/kylin/kylin_metadata/kylin-8eddd2ff-c07b-487a-9fa1-51b4aa62a528/kylin_sales_cube/hfile/F1/b18f973ec5104874b482c9a77db9ad3a,
expected: hdfs://apps:8020
解決辦法:講hbase-site.xml的hbase.rootdir修改爲hdfs://apps/hbase
5.historyserver啓動失敗
日誌報錯:Port in use: Hadoop.sh.21vevdc.com:19888
Cannot assign requested address
結果:發現kylin的job執行需要本機開啓jobhistoryserver進程,將kylin放在有該服務的機器上運行即可