原创 Spark性能優化指南——高級篇（轉載）
數據傾斜調優 調優概述 有的時候，我們可能會遇到大數據計算中一個最棘手的問題——數據傾斜，此時Spark作業的性能會比期望差很多。數據傾斜調優，就是使用各種技術方案解決不同類型的數據傾斜問題，以保證Spark作業的性能。 數據傾斜
2020-05-14 04:31:06
原创 Spark性能優化指南——基礎篇（轉載）
前言 在大數據計算領域，Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作，應用範圍與前景非常廣泛。在美
2020-05-14 04:31:06
原创 Yarn的流程簡單圖示
Resource Manager：全局資源管理器，一個集羣只有一個RM。負責和AM(Application Master)交互，資源調度、資源分配等工作。 Application Master：應用程序的管理器，類似項目經理，
2020-03-04 05:11:34
原创 leetcode: 46. 全排列
leetcode: 46. 全排列 給定一個沒有重複數字的序列，返回其所有可能的全排列。 示例: 輸入: [1,2,3] 輸出: [ [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3
2020-02-23 16:52:05
原创 leetcode: 70. 爬樓梯
leetcode: 70. 爬樓梯 假設你正在爬樓梯。需要 n 階你才能到達樓頂。 每次你可以爬 1 或 2 個臺階。你有多少種不同的方法可以爬到樓頂呢？ 注意：給定 n 是一個正整數。 示例 1： 輸入： 2 輸出： 2 解釋：
2020-02-23 16:52:05
原创 Github推薦--PC版微信/QQ/TIM防撤回補丁（我已經看到了，撤回也沒用了）
逛Github的時候會遇到一些很好玩的項目 今天分享一個可以在PC端實現QQ防撤回功能的項目。（安卓手機有Xposed框架） 首先是項目地址： 我已經看到了，撤回也沒用了 使用方法： 下載後解壓，會出現RevokeMsgPatch
2020-02-23 16:52:05
原创 劍指offer：從尾到頭打印鏈表
劍指offer：從尾到頭打印鏈表 輸入一個鏈表，按鏈表從尾到頭的順序返回一個ArrayList。 by牛客網討論區的大佬 使用了遞歸的思想 /** * public class ListNode { *
2020-02-23 16:52:05
原创 劍指offer：旋轉數組的最小數字
劍指offer：旋轉數組的最小數字 把一個數組最開始的若干個元素搬到數組的末尾，我們稱之爲數組的旋轉。 輸入一個非遞減排序的數組的一個旋轉，輸出旋轉數組的最小元素。 例如數組{3,4,5,1,2}爲{1,2,3,4,5}的一個旋轉
2020-02-23 16:52:05
原创 劍指offer：面試題07. 重建二叉樹
劍指offer：面試題07. 重建二叉樹 輸入某二叉樹的前序遍歷和中序遍歷的結果，請重建該二叉樹。假設輸入的前序遍歷和中序遍歷的結果中都不含重複的數字。 例如，給出 前序遍歷 preorder = [3,9,20,15,
2020-02-23 16:52:05
原创 leetcode: 59. 螺旋矩陣 II
leetcode: 59. 螺旋矩陣 II 給定一個正整數 n，生成一個包含 1 到 n2 所有元素，且元素按順時針順序螺旋排列的正方形矩陣。 示例: 輸入: 3 輸出: [ [ 1, 2, 3 ], [ 8, 9, 4 ]
2020-02-23 16:52:05
原创 Github推薦--PC端下載bilibili視頻
0.環境 python 3.7.3 win10 聲明:軟件均僅用於學習交流，請勿用於任何商業用途！感謝大家 1.項目地址 Bilibili_video_download-B站視頻下載 使用非常簡單,直接看作者在項目中的介紹即可 2
2020-02-23 16:52:05
原创 leetcode:206.反轉鏈表
206. 反轉鏈表 反轉一個單鏈表。 示例: 輸入: 1->2->3->4->5->NULL 輸出: 5->4->3->2->1->NULL 進階: 你可以迭代或遞歸地反轉鏈表。你能否用兩種方法解決這道題？ import j
2020-02-23 16:52:05
原创 劍指offer：連續子數組的最大和
劍指offer：連續子數組的最大和（牛客網） HZ偶爾會拿些專業問題來忽悠那些非計算機專業的同學。今天測試組開完會後,他又發話了:在古老的一維模式識別中,常常需要計算連續子向量的最大和,當向量全爲正數的時候,問題很好解決。但是,如
2020-02-23 16:52:05
原创 總結map和mapPartitions、foreach和foreachPartition、map和flatMap的區別
版本:spark-2.2.0 && scala-2.11.8 map和mapPartitions的區別 map是對每一個元素進行操作,mapPartitions是對一個分區? map源碼 /** * Return a n
2020-02-23 16:52:05
原创 揮手告別2019，做個總結吧
現在是2019年12月31日，當我敲這行字的時候，正好下午四點整。 寫了一些字，都刪掉了。 昨天的遺憾就留在昨天吧。 自己這一年的學習狀態還行，期待明年春招有所收穫，可不能再錯過了。
2020-02-23 16:52:05