原创 CDH配置hive服務報錯：Failed to create HDFS directory
1.報錯 2.主要報錯信息 Failed to create HDFS directory. 3.原因分析 不能在HDFS上創建文件夾 4.解決辦法 sudo -u hdfs hadoop dfs -chown r
2020-07-01 21:34:57
1
原创 Flink本地模式報錯:Exception in thread main java.lang.NoClassDefFoundError
1.報錯： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/api/scala/typeutils/CaseClassTy
2020-07-01 21:34:57
1
原创 CDH集羣關閉HDFS檢查權限
1.登錄CDH網頁客戶端 2.點擊HDFS 3.點擊HDFS配置 4.點擊HDFS (服務範圍) 5.檢查 HDFS 權限 6.點掉對勾，點擊保存按鈕 7.顯示過期配置 8.重啓過期服務 9.勾
2020-07-01 21:34:57
原创 Spark報錯： Permission denied: user=HaiRuo, access=WRITE
1.場景 spark在hive上運行時報錯 2.報錯 Caused by: `org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessCo
2020-06-27 16:28:37
1
原创 DataX實現:從Hive到MySQL數據抽取(含完整json配置)
1.需求 從離線Hive數倉ads層抽取數據到Mysql 2.參考DataX官方Github實例 DataX官網 從hive讀數據 { "job": { "setting": {
2020-06-27 16:28:37
1
原创 Spark報錯：Table or view not found
1.場景 def etlQzChapter(ssc: SparkContext, sparkSession: SparkSession) = { import sparkSession.implicits._ //
2020-06-27 16:28:37
原创 Hue從源碼編譯到支持Hive全流程
安裝Hue 測試集羣：hadoop101 hadoop102 hadoop103 集羣配置：阿里雲3臺雲服務器 centos7.5 2core 8Gmemory 集羣框架： hue：hadoop102 hadoop：hadoo
2020-06-27 16:28:37
1
原创 Hive運行報錯：Caused by: com.ctc.wstx.exc.WstxEOFException: Unexpected EOF
1.場景 初次運行hive [root@hadoop101 apache-hive-3.1.2-bin]# hive 2.報錯 which: no hbase in (/usr/local/sbin:/usr/local
2020-06-27 16:28:37
4
原创 Win10主機DBeaver客戶端連接阿里雲主機Hive數據庫報錯：Connection timed out: connect
1.環境 阿里雲主機 hadoop集羣：hadoop101 hadoop102 hadoop103 hive數據庫：hadoop101 2.前提 hadoop集羣正常啓動 hiveseaver2正常啓動 hive meta
2020-06-27 16:28:37
原创 運行Spark-shell報錯：File does not exist: hdfs://mycluster/spark_historylog
1.場景 執行spark-shell報錯 [root@hadoop101 conf]# spark-shell 2.報錯 Setting default log level to "WARN". To adjust log
2020-06-27 16:28:37
原创 Kafka創建主題並制定分區數和副本數
1.指令 [root@hadoop101 kafka_2.11-2.4.0]# bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-fa
2020-06-27 16:28:37
原创 2020阿里雲主機購買及配置Linux服務器（centos7.5）詳細步驟
登錄阿里雲官網註冊賬號，並充值100元以上，點擊控制檯開始購買雲主機實例。 點擊雲服務器ECS 3.點擊實例 4.點擊創建實例 5.由於是技術調研，故選擇搶佔式服務即可（根據自己需求選擇） 6.選擇離自己
2020-06-19 06:09:29
原创 IDEA lombok導入依賴後@Data不生效
1.問題描述：項目已經導入lombok依賴，但是註解@Data依然不生效 <dependency> <groupId>org.projectlombok</groupId>
2020-06-16 03:28:37