原创 校招大數據常見面試題及答案
文章目錄1 大數據流處理技術各個的區別和聯繫2. 大數據批處理技術各個的區別和聯繫12.大數據流處理技術之間的實現原理以及區別.3.Hive和HBase的存儲區別4.倒排索引5.hdfs各個節點的作用5.HDFS讀寫特性6.HDF
2020-06-22 08:34:47
原创 事實也許和你想的不一樣：volatile,原子類,synchronized在scala的Thread,線程池,Future中使用對比
在scala和java中通常用於數據同步的材料有volatile關鍵字，原子類，synchronized關鍵字。但是在不同的多線程環境下，產生的效果卻並不相同。 實驗 在獨立線程環境下使用volatile關鍵字，原子類，synch
2020-06-22 08:34:46
1
原创 spark的excutor調優思路
spark的excutor調優主要考慮兩種資源：內存和cpu核心數 優先保證程序可運行的情況下增加excutor數量 在spark中，一個excutor是一個進程，是內存資源分配的基本單位。理論上excutor的數量可以非常大，但
2020-06-22 08:34:46
原创 HashMap和CHM的四種遍歷方式
方法一：在for-each循環中使用entries來遍歷 for (Map.Entry<String, String> entry : map.entrySet()) { System.out.println("Key =
2020-06-22 08:34:46
原创 scala的代碼塊 和 無參代碼的區別
前言 最近在創建線程的時候寫了如下代碼，然後發現線程內的 run 方法總是無法執行： object MyThread { def thread(body: => Unit): Thread = { val threa
2020-05-26 15:25:46
原创 mysql8.0下載，安裝，更改密碼
文章目錄資源下載將mysql解壓到`/usr/local/mysql`更改`/etc/my.cnf`創建數據存放路徑用戶組配置配置mysql用戶的執行權限數據初始化啓動服務環境變量配置修改初始密碼防火牆管理，開啓3306端口遠程訪
2020-05-05 12:21:28
原创 scala類型判斷關鍵字：isInstanceOf和asInstanceOf，getClass和classOf
isInstanceOf和asInstanceOf isInstanceOf:isInstanceOf用於判斷對象是否是某類或者某類子類的實例 asInstanceOf:相當於java的強制類型轉換 class Person {
2020-04-28 18:37:42
原创 sbt 離線安裝依賴包
在mvn中離線安裝依賴包 去網上搜索依賴包所在的位置https://mvnrepository.com/ ，以 spark-corea爲例。 選擇倉庫和版本,並離線下載到指定文件夾。這裏可以把url拷貝到迅雷等下載工具下載，加
2020-04-25 13:58:45
原创 備戰春招
文章目錄1 大數據流處理技術各個的區別和聯繫2. 大數據批處理技術各個的區別和聯繫12.大數據流處理技術之間的實現原理以及區別.3.Hive和HBase的存儲區別4.倒排索引5.hdfs各個節點的作用5.HDFS讀寫特性6.HDF
2020-04-22 02:41:55
原创 在idea上搭建hadoop2.2.0源碼閱讀環境
獲取解壓源碼，並建立idea項目 修改hadoop-annotations子項目的jdk依賴版本。 先簡單編譯一下，發現產生如下錯誤： 原因是hadoop-annotations項目的jdk版本和本機不匹配.結局方法如下：
2020-04-18 16:59:31
原创 scala有什麼優點？
面試騰訊的時候突然問我這個問題，閒來無事總結一下。 寫scala的代碼更容易表達思路。也就是你腦子想到那你就可以寫到哪，但是這個是優點也是缺點，這種方式編寫的代碼易寫難懂，拓展性差。當然這種優點只是個人感覺，因爲scala的是一
2020-03-30 14:51:24
原创 數據結構之排序（9種）
概覽 插入排序 直接插入排序 將數組分爲兩部分，前半部分有序，後半部分無序，依次從後面取數據，插入到前面指定位置。 def insertSort(nums): size = len(nums) for i in
2020-03-01 19:00:56
原创 通過手擼RPC讓你真正明白動態代理的強大之處
普通代理 定義一個接口 public interface HelloInterface { void sayHello(); } 定義一個被代理類 public class Hello implements He
2020-02-29 15:36:40
原创 二分查找法技巧
基本二分法 private int findFirst(int[] nums, int target) { int low = 0; int high = nums.length - 1;
2020-02-26 19:42:45