原创 Spark源碼-Executor 源碼解析
Executor 源碼解析 Executor 是幹嘛的 處理任務的執行器，是一個JVM進程 ，是一個以線程池實現的運行 Task 的進程。看一下官網和代碼註釋對 Executor 的說明 官網介紹 A process lau
2020-04-29 05:49:24
原创 RDD 的緩存(persist)和檢查點(Checkpoint)
RDD 的緩存(persist)和檢查點(Checkpoint) RDD的緩存 通過persist()或cache()方法可以標記一個要被持久化的RDD，一旦首次被觸發，該RDD將會被保留在計算節點的內存中並重用。 假設首
2020-04-19 02:02:52
原创 Spark checkpoint 詳述
Spark checkpoint 詳述 本文基於 spark2.4.4 版本進行分析，如有刊誤望告之，求指教 使用 step1 設置checkpoint 目錄 sc.setCheckpointDir("hdfs://hadoo
2020-04-19 02:02:52
2
原创 淺析Broadcast
淺析 Broadcast 主要有三種對象 BroadcastManager、BroadcastFactory 和 Broadcast BroadcastManager 負責Broadcast的全局管理 BroadcastFa
2020-04-19 02:02:52
原创 Mockito(一) -- 入門篇
Mockito(一) -- 入門篇來源：https://blog.csdn.net/onlyqi/article/details/6396646Mockito是一種mock工具/框架。我理解EasyMock有點過時了，Mockito是現在
2020-02-22 08:01:30
原创 MapReduce Input Split（輸入分/切片）詳解
MapReduce Input Split（輸入分/切片）詳解來源：https://blog.csdn.net/Dr_Guo/article/details/51150278看了很多博客，感覺沒有一個說的很清楚，所以我來整理一下。先看一下
2020-02-22 08:01:30
原创 Linux下安裝DB2數據庫步驟
Linux下安裝DB2數據庫步驟來源：https://blog.csdn.net/sunrier/article/details/7826233前言: 最近有些項目在Linux下使用的是IBM的DB2數據庫,感覺沒MySQL那樣容易瞭
2020-02-22 08:01:30
原创 MR 之 計數器
MR 之 計數器首先我們看一個MapReduce程序的其中一段log，由此log中我們對MR的計數器的分析和學習（以下log中註釋是對其中涉及計數器的說明）。16/03/22 14:25:30 INFO mapreduce.Job: Co
2020-02-22 08:01:30
原创 MR 之 Combiner
MR 之 Combiner背景： MR的map將數據處理成一個<key,value>鍵值對，在網絡節點間進行整理(shuffle)，然後使用Reducer處理數據並進行最終輸出。 在上述過程中，我們看到至少兩個性能瓶
2020-02-22 08:01:30
原创 HashMap源碼研究——resize() 擴容
直接上源碼： /** * Initializes or doubles table size. If null, allocates in * accord with initial capacity t
2020-02-22 08:01:30
原创 Git ---本地新建分支並推送到遠程
Git ---本地新建分支並推送到遠程1）創建並切換到新分支： git checkout -b feature-branch 2）推送本地的feature-branch(冒號前面的)分支到遠程origin的feature-branch(冒
2020-02-22 08:01:30
原创 MySQL 數據庫操作
-- 建用戶 snbubas mysql -u root -p111111 CREATE USER 'snbubas'@'%' IDENTIFIED BY 'snbubas'; -- 遠程登錄 create database snbub
2019-10-25 23:49:18
原创 JVM-類的加載和初始化
原文鏈接：https://www.jianshu.com/p/aae6e11d54f2 JVM類的加載與初始化： https://www.jianshu.com/p/aae6e11d54f2 j
2019-09-04 22:43:57
原创 clickhouse簡介和性能測試
clickhouse使用文檔 ：相對簡潔的介紹了clickhouse的使用，對各種引擎做了簡單介紹 clickhouse官網 ：clickhouse的權威官方網站 準備：在分佈式clickhouse集羣搭建好之後，進行建庫建表，並導入數據
2019-02-28 22:02:06
原创 文件數字簽名（zip、jar等）
說明：需要簽名的文件須爲壓縮類型文件，jar，zip，rar等，簡單的文本文件無法進行簽名 關於數字簽名等的理論和說明，網上文檔較多，本文不做贅述，本文旨在使用jdk命令工具對文件進行簽名和驗證，以供參考。 準備需要簽名的文件：exa
2019-02-19 13:36:22