原创 Hadoop都有哪些配置文件
hadoop2.X 4site.xml core-site.xml yarn-site.xml hdfs-site.xml mapred.xml 3env.sh hadoop-env.sh yarn-env.sh mapre
2020-06-16 03:28:37
原创 shell 單引號 雙引號 反引號 嵌套單雙引號 看這篇就夠了
1.編寫shell腳本 #!/bin/bash do_date=$1 echo '$do_date' echo "$do_date" echo "'$do_date'" echo '"$do_date"' echo `date
2020-06-16 03:28:36
原创 ES報錯：illegal_argument_exception
1.場景描述 ES中創建映射 PUT /usertag/_doc/_mapping?pretty { "_doc": { "properties": { "memberId": { "
2020-06-16 03:28:36
原创 Vscode如何格式化顯示csv、excell文件
1.在VS Code安裝Excel Viewer插件即可 2.點擊預覽按鈕 3.展示效果爲表格顯示cs文件，這樣很方便查看數據！
2020-06-16 03:28:36
1
原创 Flink Table API 輸出到MySql報錯：Required context properties mismatch.
代碼： package com.atguigu.tabletest import com.atguigu.apitest.SensorReading import org.apache.flink.streaming.api.sca
2020-06-16 03:28:36
原创 zookeeper爲甚麼選計數臺機器
由於半數以上機器正常工作，zookeeper就可以正常工作。 也就是說5臺機器和6臺機器的容錯都是2臺。 所以奇數臺機器可以最大效率利用集羣的容錯率，節省成本。
2020-06-16 03:28:36
原创 Hive SQL查詢之null踩坑
數據準備 1.hive sql中null是特殊情況，要單獨處理 SELECT * FROM student st left join (SELECT sc.s_id, count(*) num1 FROM scor
2020-06-16 03:28:36
原创 Flink Table API 導出表查詢結果到Elasticsearch報錯：the final mapping would have more than 1 type:
代碼： package com.atguigu.tabletest import com.atguigu.apitest.SensorReading import org.apache.flink.streaming.api
2020-06-16 03:28:36
原创 Linux高級命令這幾個就夠了
1 top 查看內存 2 df -h 查看磁盤存儲情況 3 sudo iotop 查看磁盤IO讀寫(sudo yum install iotop安裝） 4 sudo iotop -o 直接查看比較高的磁盤讀寫程序 5 nets
2020-06-16 03:28:36
原创 Spark連接Hive報錯：1 字節的 UTF-8 序列的字節 1 無效 Error while instantiating
1.場景：使用Spark的Java API連接Hive java代碼 public static void main(String[] args) { ThreadLocal<SparkSession> s
2020-06-16 03:28:36
原创 Kafka解耦原理淺析
一、高度耦合大數據架構 1.每一個數據源都會有四個不同流向 2.每一個數據接收者都可能有四個不同來源 3.系統高度耦合，系統複雜度4*4=16 4.不利於程序開發、維護、升級 二、Kafka解耦之後架構 1.所有source只流
2020-06-16 03:28:36
原创 Flume丟不丟數據？
1.Flume channel 用FileChannel，加上flume自身的事務保證，不丟數據。 2.Flume channel如果用memorychannel有可能丟數據 在數據到達內存時，put事務已完成，這時如果cha
2020-06-16 03:28:36
原创 Hive SQL 使用不了union all : SemanticException Cartesian products are disabled for safety reasons
報錯信息： SQL 錯誤 [40000] [42000]: Error while compiling statement: FAILED: SemanticException Cartesian products are disabl
2020-06-16 03:28:36