原创 Hadoop 編程
Hadoop 編程 MapReduce - 編程 處理 select：直接分析輸入數據，取出需要的字段數據即可 where: 也是對輸入數據處理的過程中進行處理，判斷是否需要該數據 aggregation:min, max, sum gr
2020-07-01 23:57:13
原创 最形象的八大排序算法——程序員必看
八大排序，三大查找是《數據結構》當中非常基礎的知識點，在這裏爲了複習順帶總結了一下常見的八種排序算法。 常見的八大排序算法，他們之間關係如下： 排序算法.png 他們的性能比較： 性能比較.png 下面，利用Py
2020-07-01 23:57:02
1
原创 Hadoop Failover
Hadoop Failover YARN - Failover 失敗類型 程序問題 進程崩潰 硬件問題 失敗處理 任務失敗 運行時異常或者JVM退出都會報告給ApplicationMaster 通過心跳來檢查掛住的任務(timeout)，
2020-07-01 23:57:02
原创 Hadoop Shuffle
Hadoop Shuffle MapReduce - Shuffle 對Map的結果進行排序並傳輸到Reduce進行處理 Map的結果並不是直接存放到硬盤,而是利用緩存做一些預排序處理 Map會調用Combiner，壓縮，按key進行分區
2020-07-01 23:57:02
1
原创 Hadoop Mapper——直接上代碼
Hadoop Mapper MapReduce - Mapper 主要是讀取InputSplit的每一個Key,Value對並進行處理 public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEO
2020-07-01 23:57:01
原创 以爲大牛入職阿里後才知道簡歷這樣寫？？？
私下裏，有不少讀者問我：“二哥，如何才能寫出一份專業的技術簡歷呢？我總感覺自己寫的簡歷太爛了，所以投了無數份，都石沉大海了。”說實話，我自己好多年沒有寫過簡歷了，但我認識的一個同行，他在阿里，給我說了一些他當年寫簡歷的方法論，我感覺太牛逼
2020-07-01 23:57:01
原创 Hadoop Container
Hadoop Container YARN - Container 基本的資源單位（CPU、內存等） Container可以加載任意程序，而且不限於Java 一個Node可以包含多個Container，也可以是一個大的Container
2020-07-01 23:57:01
原创 Hadoop 讀文件
Hadoop 讀文件 HDFS - 讀文件 客戶端向NameNode發送讀取請求 NameNode返回文件的所有block和這些block所在的DataNodes（包括複製節點） 客戶端直接從DataNode中讀取數據，如果該DataN
2020-06-30 06:41:51
原创 Hadoop 命令工具
Hadoop 命令工具 HDFS - 命令工具 fsck: 檢查文件的完整性 start-balancer.sh: 重新平衡HDFS hdfs dfs -copyFromLocal 從本地磁盤複製文件到HDFS
2020-06-30 06:41:51
原创 Hadoop 可靠性
Hadoop 可靠性 HDFS - 可靠性 DataNode可以失效 DataNode會定時發送心跳到NameNode。如果一段時間內NameNode沒有收到DataNode的心跳消息，則認爲其失效。此時NameNode就會將該節點的數
2020-06-30 06:41:51
原创 Hadoop ApplicationMaster
Hadoop ApplicationMaster YARN - ApplicationMaster 單個作業的資源管理和任務監控 具體功能描述： 計算應用的資源需求，資源可以是靜態或動態計算的，靜態的一般是Client申請時就指定了，動態
2020-06-30 06:41:50
原创 Hadoop 寫文件
HDFS - 寫文件 1.客戶端將文件寫入本地磁盤的HDFS Client文件中 2.當臨時文件大小達到一個block大小時，HDFS client通知NameNode，申請寫入文件 3.NameNode在HDFS的文件系統中創建一個文
2020-06-30 06:41:50
原创 LeetCode——對合並後的鏈表排序
合併 k 個排序鏈表，返回合併後的排序鏈表。請分析和描述算法的複雜度。 示例: 輸入: [ 1->4->5, 1->3->4, 2->6 ] 輸出: 1->1->2->3->4->4->5->6 前置知識：合併兩個有序鏈表 思
2020-06-13 13:13:19
原创 LeetCode 算法題目——括號的生成
數字 n 代表生成括號的對數，請你設計一個函數，用於能夠生成所有可能的並且 有效的 括號組合。 示例： 輸入：n = 3 輸出：[ "((()))", "(()())", "(())()",
2020-06-13 13:13:19
原创 JAVA——StringBuffer 和 StringBuilder 類
Java StringBuffer 和 StringBuilder 類 當對字符串進行修改的時候，需要使用 StringBuffer 和 StringBuilder 類。 和 String 類不同的是，StringBuffer 和 S
2020-06-09 04:08:41