CDH部署客戶端報錯deploy client configuration fail

環境:

CDH-5.14.2-1.cdh5.14.2.p0.3

問題描述:

添加Hive服務時,部署hdfs,yarn,hbase,kafka,spark2,hive的client配置時報錯如下。

解決方案:

首先解決第一個問題

JAVA_HOME is not set and could not be found.

命令行查看,確實配置了JAVA_HOME:

[root@node03 parcels]# echo $JAVA_HOME
/usr/local/java/jdk1.8.0_231

查看cdh部署運行日誌,日誌都在cm安裝目錄下的/run/cloudera-scm-agent/process目錄下,這個報錯是部署spark2配置文件時報的錯,找到最新的部署相關日誌文件。

/opt/cm-5.14.2/run/cloudera-scm-agent/process/ccdeploy_spark2-conf_etcspark2conf.cloudera.spark2_on_yarn_-3826120527610311429/logs

查看stderr.log,發現部署的時候不會到/usr/local/java找jdk

因爲安裝JDK通過tar.gz安裝包安裝,不會添加軟連接到/usr/java ,所以在/usr/java目錄找不到jdk,這裏執行以下命令,重新通過cm部署,將不會再報JAVA_HOME is not set and could not be found.

# cd /usr
# mikdir java
# ln -s /usr/local/jdk1.8.0_231 /usr/java/default

解決第二個問題

/var/lib/alternatives/***-conf is empty.

參考這篇博客https://cloud.tencent.com/developer/article/1349500,將每個節點的***-conf按要求補充。這裏給出本集羣的配置文件內容做參考。

hadoop-conf

auto
/etc/hadoop/conf

/etc/hadoop/conf.cloudera.yarn
92
/etc/hadoop/conf.cloudera.hdfs
90
/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop/conf.empty
10

kafka-conf

auto
/etc/kafka/conf

/etc/kafka/conf.cloudera.kafka
50
/opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/etc/kafka/conf.dist
10

hbase-conf

auto
/etc/hbase/conf

/etc/hbase/conf.cloudera.hbase
90
/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hbase/conf.dist
10

spark2-conf

auto
/etc/spark2/conf

/etc/spark2/conf.cloudera.spark2_on_yarn
51
/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/etc/spark2/conf.dist
10

按要求將所有爲空的conf文件都添加內容後,重啓cloudera agent,重新部署,依然有部分節點仍然報empty錯誤。

參考這篇bug的評論https://bugzilla.redhat.com/show_bug.cgi?id=1016725

將報empty節點的conf文件刪除,重啓cloudera agent,重新部署,成功執行,且會自動在/var/lib/alternatives文件夾下生成相應的conf文件。

至此,Hive服務成功添加。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章