原创 那些年走過的azkaban的坑
寫在前面的話：azkaban這個輕量級的調度工具說實話報錯信息真的很讓人捉急，基本上提供不了什麼有用的信息 1. java.lang.IllegalStateException: Process has not yet start
2020-07-06 23:15:53
13
原创 Hadoop Apache 2.7.2 安裝教程
本文介紹Hadoop Apache2.7.2的安裝說明，爲前序文章[大數據]數據倉庫的搭建的輔助文檔 文章目錄1.JDK安裝2.安裝Hadoop3.完全分佈式環境配置4.支持LZO壓縮配置5.HDFS擴容配置6.HDFS基準測試7
2020-06-30 02:37:40
原创 Flume在修改文件名後會重複讀取文件問題
Flume在修改文件名後會重複讀取文件問題 問題描述： 使用正則表示監控文件名時，當修改文件名稱之後，會重複讀取數據。 問題場景： 在生產環境下，使用log4j打印日誌框架時，會變更打印日誌名稱，造成flume重複讀取 問題重現：
2020-06-30 02:37:40
1
原创 Spark任務運行流程(基於yarn集羣模式)源碼分析（1）
博主博客地址：https://bryce-loski.github.io/ Spark任務運行流程(基於yarn集羣模式)源碼分析（1） 寫在前面的話 本文通過通俗易懂的方式，將以spark的yarn集羣模式，通過源碼層面去分析s
2020-06-30 02:37:39
原创 Zookeeper 3.4.10安裝教程
本文介紹Zookeeper 3.4.10的安裝說明，爲前序文章[大數據]數據倉庫的搭建的輔助文檔。 本文只作爲輔助文檔，對zookeeper安裝配置只配置對搭建數倉需要的地方。並不對zookeeper做詳細的說明。 文章目錄1.集
2020-06-30 02:37:39
原创 shell腳本執行jps時：-bash: jps: command not found
我構建了hadoop集羣。我們一定會寫一個shell腳本去每一個節點上去jps，查看每個節點的進程情況。 原先以爲shell很簡單： #!/bin/bash #查看每個節點運行情況 for((host=101;host<108;h
2020-06-30 02:37:39
原创 HashMap 源碼剖析
HashMap 源碼剖析 如果你是要面對面試，可以直接去看下基本概念與總結 文章目錄HashMap 源碼剖析1.hashmap的基本概念2.hashmap類3.hashmap基本屬性4.hashmap Node屬性5.hashm
2020-06-16 12:47:14
原创 [JAVA靈魂10問]關於sleep與wait的思考
[JAVA靈魂10問]關於sleep與wait的思考 [JAVA靈魂10問]訪問權限的拷問：你懂的怎麼使用clone嗎 [JAVA靈魂10問]你知道java的重寫嗎？ 寫在前面的話 一說到sleep和wait的區別，最先想到是的
2020-06-16 12:47:14
原创 [JAVA靈魂10問]訪問權限的拷問：你懂的怎麼使用clone嗎
[JAVA靈魂10問]你知道java的重寫嗎？ clone：這個方法估計都不陌生。object種的方法。 這個是object中的一個方法，我們都知道，任何類都會繼承object這個類。 首先提出一個問題： public clas
2020-06-03 04:09:41
原创 [JAVA靈魂10問]你知道java的重寫嗎？
[JAVA靈魂10問]訪問權限的拷問：你懂的怎麼使用clone嗎 這期來講講java中的重寫： 首先貼一段簡單的代碼:看一下運行的結果 package cn.bryce.java; public class Java05_ove
2020-06-03 04:09:41
原创 [大數據]數據倉庫的搭建（緩慢更新）
前言：5G時代的到來，對於大數據的規劃刻不容緩。很多企業還在停留在MySQL的數據分析，但是對於5G以G每秒的速度來說，MySQL處理數據顯得有些心有餘而力不足。本文將對於從大數據的數據倉庫，從0-1的搭建做一個詳細的講解。 未完
2020-03-27 19:10:41