原创 Spark Shuffle
1. Shuffle相關當Map的輸出結果要被Reduce使用時，輸出結果需要按key哈希，並且分發到每一個Reducer上去，這個過程就是shuffle。由於shuffle涉及到了磁盤的讀寫和網絡的傳輸，因此shuffle性能的高低直接影
2018-09-11 07:32:56
原创 IDEA源代碼閱讀環境搭建
下載源代碼打開IntelliJ IDEA 後，在菜單欄中選擇 VCS→Check out from Version Control→Git，之後在 Git Repository URL 中填入 Spark 項目的地址，並指定好本地路徑，如
2018-09-11 07:32:56
3
原创 Spark streaming vs JStorm
大部分時候大家在選擇技術方案的時候還是比較迷茫，是該選擇JStorm還是Spark Streaming？一般會流於一些並不重要問題的討論，最後做出目光非常短淺的選擇，幾個月之後再改變技術方案。造成嚴重的開發量的浪費，甚至拖延關鍵產品的上線，
2018-09-11 07:32:55
2
原创 如何處理高併發業務場景
要具備高併發的經驗確實需要有實際項目,因爲業務邏輯其實很容易理清,但是要在高併發的情況下如何找到業務繁忙的熱點並進行優化,完全只能憑經驗.假如沒有靠譜的公司,接觸不到高併發的業務場景怎麼辦?從處理技巧上,可以通過大牛學習高併發的架構,比如張
2018-09-11 07:32:51
2