原创 Spark2.0.1 on yarn with hue 集羣安裝部署（九）啓動腳本編寫
啓動腳本編寫 1、創建文件夾 cd ~ mkdir bin 將執行腳本放置該文件夾內。 2、啓動腳本start-hue-all.sh #!/bin/bash #to start hive metastore,livy,hive h
2020-06-04 12:52:31
1
原创 Spark2.0.1 on yarn with hue 集羣安裝部署（八）hue+livy+spark整合
hue livy spark整合 1、配置hue cd /bigdata/hue/desktop/conf vim /hue.ini 找到[spark]選項進行修改： [spark] # Host address of the
2020-06-04 12:52:31
2
原创 Spark2.0.1 on yarn with hue 集羣安裝部署（七）livy安裝測試
livy安裝測試 一、R安裝 如果未安裝R，可以先安裝R，用於支持SparkR，如果yum源中沒有R語言的安裝包，可以從官網下載相應版本進行手動編譯安裝。 sudo yum install R 安裝rJava 下載地址： ht
2020-06-04 12:52:31
5
原创 spark2.0.1 on yarn with hue 集羣搭建部署（四）hive、hive metastore安裝
hive安裝整合sparksql 一、安裝hive 1、安裝說明 由於使用apache-hive-1.2.1-bin.tar.gz安裝測試時出現異常，使用hue創建數據庫表時： hive報錯 導致錯誤的原因參見hive的相關
2020-06-04 12:52:31
3
原创 Spark2.0.1 on yarn with hue 集羣安裝部署（六）hue+hive+sparksql
hue+hive+sparksql 1、 配置hue cd /bigdata/hue/desktop/conf vim /hue.ini 配置hive與hue整合，找到[beeswax]修改內容如下： [beeswax]
2020-06-04 12:52:31
原创 Spark2.0.1 on yarn with hue 集羣搭建部署（五）hue安裝支持hadoop
hue安裝 一、編譯安裝hue 編譯相關依賴環境rpm包安裝 sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gc
2020-06-04 12:52:31
原创 七、多集羣配置
多集羣配置 Drill-on-YARN允許您在單個YARN羣集上輕鬆定義多個Drill羣集。每個Drill集羣都是Drillbits的集合，可作爲獨立單元使用。例如，您可以在運行較大集羣的同一物理集羣上定義一個計算機的一個測試集羣
2019-06-24 19:54:04
原创 五、drill-on-yarn 命令行工具
drill-on-yarn命令行工具 Drill提供了命令行工具，用於啓動，停止，調整大小和檢查Drill羣集的狀態。該工具位於： $DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE
2019-06-24 19:54:04
原创 二、創建基礎的drill集羣
客戶端配置 任務提交任務到yarn集羣需要配置好提交任務的客戶端，比如spark on yarn，需要spark客戶端。對於Drill-on-YARN，也需要配置drill客戶端。客戶端可以在任何同時具有Drill和Hadoop軟
2019-06-24 19:54:04
原创 一、drill on yarn介紹
Drill-on-YARN簡介： 從Drill 1.13開始，Drill可以與YARN集成，進行集羣資源管理。使用YARN，Drill成爲長服務應用。當您啓動Drill時，YARN會自動將Drill軟件部署（本地化）到每個節點上，
2019-06-24 19:54:04
原创 三、啓動drill on yarn
啓動drill on yarn 使用客戶端工具啓動新的Drill集羣，如下所示： $DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE start 出現了許多描述啓動過程的行。該工具
2019-06-24 19:54:04
原创 kylin問題分析:org.apache.kylin.metadata.datatype.DataType.(DataType.java:134)
kylin2.6.1 使用spark引擎進行build cube任務的時候，出現如下異常，該異常自從kylin2.4.0版本至最新的kylin2.6.2版本依然存在。 19/05/05 17:36:42 WARN schedule
2019-06-24 19:54:04
74
原创 六、drill web ui介紹
使用Drill-on-YARN Web UI 在YARN下運行的應用程序有ApplicationMaster進程來管理應用程序的任務。Drill爲此提供了Drill-on-YARN Application Master。當您使用命
2019-06-24 19:54:04
原创 八、啓用web安全性設置
啓用Web UI安全性 Drill-on-YARN提供瞭如前所述的Web UI。默認情況下，UI對所有人開放。您可以使用簡單的預定義用戶名和密碼或使用Drill的用戶身份驗證來保護UI。 簡單安全 使用三種配置設置啓用簡單安全性：
2019-06-24 19:54:04
原创 四、參考配置
參考配置 該文章主要描述了drill on yarn最基本配置。其他配置選項可用於特殊情況。有關其他選項的信息，請參閱drill-on-yarn-example.conf。 應用名稱 啓動或停止Drill集羣和Drill-on-Y
2019-06-24 19:54:04