原创 Hadoop、Hbase、Hive和zookeeper版本兼容關係
Hadoop和Hbase Hadoop和Hbase的匹配關係可以查看Hbase官方文檔，搜索‘Hadoop version support matrix’： http://hbase.apache.org/book.html#ba
2020-06-21 08:14:05
原创 java.lang.IllegalStateException: Failed to check the status of the service
SpringBoot+Dubbo報錯java.lang.IllegalStateException: Failed to check the status of the service發生錯誤錯誤原因修改成功後 發生錯誤 註冊服務
2020-06-21 07:35:16
原创 關於ZooKeeper羣起失敗
ZooKeeper 羣起失敗 - 故障描述： 使用羣起腳本啓動後，通過jps查看無啓動。 zk.sh #! /bin/bash case $1 in "start"){ for i in hadoop01 hadoop02 ha
2020-06-21 07:35:16
原创 Hadoop的HA配置
一、HA-HDFS 1.1 HA的核心 HA(high avalibility)：高可用 Hadoop集羣有HDFS和YARN！Hadoop的HA指HDFS和YARN必須保證可用性強(不能輕易故障，保持24h可用)！
2020-06-21 07:35:16
原创 使用jmxtrans+influxdb+grafana監控JMX指標
參考鏈接來源：https://www.lagou.com/lgeduarticle/8153.html 使用jmxtrans+influxdb+grafana監控JMX指標環境信息以Flume爲例：1. 開啓FlumeJMX端口
2020-06-21 07:35:16
原创 使用HDFS API遍歷HDFS目錄樹結構
/** * 遞歸遍歷打印HDFS的目錄樹 * @param fs FileSystem * @param path HDFS存儲路徑 * @throws IOException
2020-06-21 07:35:16
原创 MapReducer中的自定義Combiner
轉載於 https://www.cnblogs.com/edisonchou/p/4297786.html Combiner合併 Combiner是MR程序中Mapper和Reducer之外的一種組件 Combiner組件的父類
2020-06-21 07:35:16
原创 拜占庭將軍-分佈式領域的幽靈
拜占庭將軍問題（Byzantine Generals Problem），是由萊斯利·蘭波特在其同名論文中提出的分佈式對等網絡通信容錯問題。 在分佈式計算中，不同的計算機通過通訊交換信息達成共識而按照同一套協作策略行動。但有時候，
2020-06-21 07:35:16
原创 MapReduce中自定義InputFormat
Hadoop內置的輸入文件格式類有： 1）FileInputFormat<K,V> 這個是基本的父類，自定義就直接使用它作爲父類。 2）TextInputFormat<LongWritable,Text> 這個是默認的數據格式類。
2020-06-21 07:35:16
原创 強制卸載阿里雲盾（安騎士）監控及屏蔽雲盾IP檢測教程
我們在阿里雲購買的雲服務器開機後進程裏都會自帶AliYunDun、aliyun-service、AliYunDunUpdate程序。 其實它就是阿里雲盾（安騎士），是用來監控咱們的雲服務器是購安全，可用以起到自動掃描查殺病毒的
2020-06-21 07:35:16
原创 Yarn的調度器
一、調度器 1.調度器的分類 FIFO、Capacity Scheduler 和 Fair Scheduler yarn-default.xml <property> <description>The class to
2020-06-21 07:35:16
原创 Flink使用託管算子狀態ListCheckpointed
要使用託管算子狀態，有狀態函數可以實現更通用的CheckpointedFunction接口或ListCheckpointed<T extends Serializable>接口。官方參考鏈接:https://ci.apache.o
2020-06-21 07:35:05
原创 字符串匹配問題 暴力求解、KMP算法、BM算法、Sunday算法簡述
1.暴力匹配算法 假設現在我們面臨這樣一個問題：有一個文本串S，和一個模式串P，現在要查找P在S中的位置，怎麼查找呢？ 如果用暴力匹配的思路，並假設現在文本串S匹配到 i 位置，模式串P匹配到 j 位置，則有： 如果當前字符匹配
2020-06-09 15:45:25
原创 Spark on yarn 源碼分析
Yarn-Cluster模式 執行腳本提交任務，實際是啓動一個 SparkSubmit 的 JVM 進程； SparkSubmit 類中的 main方法反射調用Client的main方法； Client創建Yarn客戶端，然
2020-05-26 04:34:03
原创 Hive On Spark編譯
環境說明： version CentOS 6.8 JDK 1.8 Maven 3.6.3 Scala 2.11.8 Hadoop 2.7.2 Hive 2.3.6 Spark 2.1.1
2020-05-19 04:28:07