原创 Hadoop Snappy安裝終極教程
原創作品，允許轉載，轉載時請務必以超鏈接形式標明文章 原始出處 、作者信息和本聲明。否則將追究法律責任。http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutori
2020-06-22 04:13:31
2
原创 Spark源碼分析——deploy模塊
Background 在前文Spark源碼分析之-scheduler模塊中提到了Spark在資源管理和調度上採用了Hadoop YARN的方式：外層的資源管理器和應用內的任務調度器；並且分析了Spark應用內的任務調度模塊。本文就Sp
2020-06-22 04:13:31
原创 Spark源碼解析——Shuffle
Background 在MapReduce框架中，shuffle是連接Map和Reduce之間的橋樑，Map的輸出要用到Reduce中必須經過shuffle這個環節，shuffle的性能高低直接影響了整個程序的性能和吞吐量。Spark作
2020-06-22 04:13:31
原创 linux系統中oom killer策略
最近經常出現datanode被內核oom-killer幹掉的情況，下面追查下原因：(todo...) 什麼是Overcommit和OOM？ overcommit的策略 當oom-killer發生時，linux會選擇殺死哪些進程
2020-06-22 04:13:21
原创 HDFS源碼學習（1）——NameNode主要數據結構
FSNameSystem FSNameSystem是HDFS文件系統實際執行的核心，提供各種增刪改查文件操作接口。其內部維護多個數據結構之間的關係： fsname->block列表的映射所有有效blocks集合block與其所屬的da
2020-02-23 05:20:55
原创 Maven系列3--Maven命令行選項
可以免費轉載，轉載時請註明出處 http://pengqb.iteye.com 。 Maven 命令行選項 說明： 1、使用-選項時，和後面的參數之間可以不要空格。而使用--選項時，和後面的參數之間必須有空格。如下面的例子： $
2020-02-23 05:20:55
原创 Maven系列1--settings.xml 配置詳解
1.先看一個例子 <settings> <mirrors> <mirror> <!--This is used to direct the
2020-02-23 05:20:55
原创 maven scope含義的說明
依賴範圍控制哪些依賴在哪些classpath 中可用，哪些依賴包含在一個應用中。讓我們詳細看一下每一種範圍： compile （編譯範圍） compile是默認的範圍；如果沒有提供一個範圍，那該依賴的範圍就是編譯範圍。編譯範圍依賴
2020-02-23 05:20:55
原创 Hadoop Snappy壓縮算法簡介
本篇文章做了小部分更改，僅介紹了Snappy，去掉了安裝過程，不過不必嘆氣，更加詳細的Hadoop Snappy及HBase Snappy的安裝步驟已經另起了一篇文章專門來介紹：Hadoop HBase 配置 安裝 Snappy 終極
2020-02-23 05:20:55
原创 對Linux inode的一些理解
文件名 -> inode -> device block 轉自：http://www.ruanyifeng.com/blog/2011/12/inode.htmlhttp://blog.s135.com/post/295/ htt
2020-02-23 05:20:55
原创 一致性 hash 算法（ consistent hashing ）
consistent hashing 算法早在 1997 年就在論文 Consistent hashing and random trees 中被提出，目前在 cache 系統中應用越來越廣泛； 1 基本場景 比如你有 N 個 cach
2020-02-23 05:20:55
原创 Hadoop RPC詳解-RMI
Hadoop RPC 遠程過程調用是Hadoop中的核心概念。在深入研究RPC之前，先看看遠程調用的鼻祖Java RMI. 1.什麼是RMI Java遠程方法調用，即Java RMI（Java Remote Method In
2020-02-23 05:20:55
原创 Maven系列2--pom.xml 配置詳解
<!--可以免費轉載，轉載時請註明出處 http://pengqb.iteye.com 。--><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
2020-02-23 05:20:55
原创 Spark源碼解析——Storage模塊
Background 前段時間瑣事頗多，一直沒有時間整理自己的博客，Spark源碼分析寫到一半也擱置了。之前介紹了deploy和scheduler兩大模塊，這次介紹Spark中的另一大模塊 - storage模塊。 在寫Spark程序
2020-02-23 05:20:55
原创 HBase寫數據過程
hbase寫數據過程 博客分類： hbasehbase大數據寫數據過程compactsplit 博文說明：1、研究版本hbase0.94.12；2、貼出的源代碼可能會有刪減，只保留關鍵的代碼 從client和server兩
2020-02-23 05:20:55