原创 MongoDB replication (1)
MongoDB replication (1) > rs.initiate() { "ok" : 0, "errmsg" : "This node was not started with the replSet
2020-07-04 12:13:33
2
原创 Java GC 源碼分析(2)
Mark-Sweep Policy 類繼承關係：CollectorPolicy=>GenCollectorPolicy =>TwoGenerationCollectorPolicy TwoGenerationCollector
2020-07-04 12:13:33
1
原创 Spark Executor on YARN
YARN executor launch context env: CLASSPATH -> {{PWD}}<CPS>{{PWD}}/__spark_conf__<CPS>{{PWD}}/__spark_libs__/
2020-07-04 12:13:33
原创 Flume與Kafka比較
** Flume Kafka 功能 側重日誌採集 側重日誌緩存 實現 管道流 消息隊列 傳輸方式 push-based pull-based 持久行爲 傳輸後的日誌不保存 傳輸後的日誌不刪除 模型 so
2020-07-04 12:13:33
原创 Flink 原理與實現：架構和拓撲概覽
架構 要了解一個系統，一般都是從架構開始。我們關心的問題是：系統部署成功後各個節點都啓動了哪些服務，各個服務之間又是怎麼交互和協調的。下方是 Flink 集羣啓動後架構圖。 當 Flink 集羣啓動後，首先會啓動一個 JobMa
2020-02-22 07:15:43
原创 HDFS中的TransactionsSinceLastCheckpoint
TransactionsSinceLastCheckpoint = getEditLog().getLastWrittenTxId() - getFSImage().getStorage().getMostRecent
2020-02-22 07:15:43
原创 Flink DAG編譯和優化
Flink DAG編譯和優化 1. 創建ProgramPlan。 class ExecutionEnvironment： public Plan createProgramPlan()； Plan描述了所有的數據源，所有Sink
2020-02-22 07:15:43
原创 Structred Streaming之Streaming Query分析
Structred Streaming之Streaming Query分析 在用戶的應用程序中，用戶會調用DataStreamWriter.start()方法發起一個Streaming query。 在DataStreamWri
2020-02-22 07:15:43
原创 Spark運行模式
Spark運行模式 部署模式 client cluster 集羣管理模式 local cluster standalone: org.apache.spark.deploy.Client / org.apache.spar
2020-02-22 07:15:43
原创 MySQL協議分析（結合PyMySQL）
MySQL協議分析（結合PyMySQL） MySQL Packets 當MySQL客戶端或者服務端發送數據時，它會首先把數據分割成(2^24-1)bytes的包，然後給每個包加上packet header。 類型 名稱 描述
2020-02-22 07:15:43
原创 YARN應用生命週期
RM: Resource Manager AM: Application Master NM: Node Manager Client向RM提交應用，包括AM程序及啓動AM的命令。 RM爲AM分配第一個容器，並與對應的NM通信，
2020-02-22 07:15:43
原创 Spark Streaming分析
StreamingContext啓動流程 創建和停止：context.start()/context.stop() 初始化方式： Master URL + App name SparkConf配置 從現有的SparkConte
2020-02-22 07:15:43
原创 Spark作業提交和DAG調度器生成Task
RDD action => SparkContext.runJob(rdd: RDD[T], func: Iterator[T] => U) runJob() => dagScheduler.runJob: 對所有Partiti
2020-02-22 07:15:43
原创 Spark GC調優筆記
Spark GC調優筆記 傳統GC Paralledl GC：高吞吐量，離線分析 CMS GC：低延遲，實時響應 Java堆內存劃分爲兩個區域：Young和Old，Young存儲短期對象，Old存儲長期對象。 Young代進一
2020-02-22 07:15:43
原创 常用Kafka命令實現
TopicCommand writeTopicPartitionAssignment /brokers/topics/[topic]/partitions/[0…N] KafkaProducer 初始化Metadata 初始
2020-02-22 07:15:43