原创 HBase--Split和Compact
1 Region拆分 一個Region代表一個表的一段Rowkey的數據集合，當Region太大，Master會將其拆分。Region太大會導致讀取效率太低，遍歷時間太長，通過將大數據拆分到不同機器上，分別查詢再聚合，Hbase也被人稱爲
2019-07-02 17:28:05
原创 安裝vmware虛擬機詳細教程
VMware下載與安裝 一、虛擬機的下載 1、進入VMware官網，點擊左側導航欄中的下載，再點擊圖中標記的Workstation Pro，如下圖所示。 2
2019-06-27 17:35:16
原创 Hive--筆試題05_1--求TopN
現在有一個面試題 場景舉例 北京市學生成績分析 成績的數據格式 exercise5_1.txt 文件中的每一行就是一個學生的成績信息。字段之間的分隔符是"," 時間,學校,年紀,姓名,科目,成績 樣例數據 2013,北大,1,
2019-06-26 18:42:51
原创 Hive內置函數
數學函數 下面表格中的函數爲Hive的內置數學函數，大部分當參數爲NULL時返回NULL。 返回類型 函數名 描述 bigint round(double a) 返回a經過四捨五入的BIGINT 值 doubl
2019-06-26 04:22:14
原创 Hive經典最全筆試題系列
現在的大數據開發，越來越趨向於編寫SQL代替程序開發，比如MapReduce的Hive客戶端，Kafka,Spark,Flink等都是支持SQL操作的。所以學好SQL是重中之重。是每個大數據程序開發工作者的必備技能。 本人收集了大量的Hi
2019-06-25 18:00:36
原创 Hive--筆試題01--窗口分析函數實現
有以下一份數據： A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,1
2019-06-25 18:00:36
1
原创 Hive--筆試題01--自連接實現
有以下一份數據： A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,1
2019-06-25 18:00:36
原创 求一維數組蓄水數
1、需求 很多程序員在面試的時候，都可能遇到一些邏輯思維/編程題，這樣的題目非常有意思。而且非常考驗程序員的解題技巧和代碼編寫能力。我這兒就曾經遇到過一個。 具體需求看圖 2、解題思路 廢話不多數。直接給大家講解思路： 1、先找出整
2019-06-21 01:37:29
2
原创 求二維數組蓄水數
1、需求 接上一個需求：求一維數組蓄水數，如果數組是二維數組呢？ 如果求得蓄水數呢？ 比如這種情況：紅色的格子是能蓄水的格子，藍色的各自是牆， 也就是不能蓄水的格子 2、解題思路 其實對於這種題目，會很很多的難點，比如： 簡單低窪
2019-06-21 01:37:29
3
原创 利用zookeeper模擬實現HA高可用
利用zookeeper模擬實現HA高可用 1、需求 在分佈式場景中，對於主從架構來說，最大的問題就是單點故障。當學過zookeeper之後，我們都知道，可以利用zookeeper集
2019-06-20 03:08:03
1
原创 MapReduce--14--學生成績（增強版）--需求3
題目描述 關於對於學生成績相關的練習題，之前是一個入門級別的需求，現在對這些需求進行增強，首先看數據的改變： computer,huangxiaoming,85,86,41,75,93,42,85 computer,xuzheng,54
2019-06-18 17:32:21
原创 MapReduce--11--學生成績（基礎版）--需求2
對於剛入門MapReduce的同學來說，學會mapreduce的基本編程套路，懂得mapreduce是如何對於大批量數據集做分佈式運算的是非常關鍵的。 這裏有一個需求，增強各位對mapreduce編程的理解 首先看數據： compute
2019-06-18 02:25:37
2
原创 MapReduce--12--學生成績（增強版）--需求1
題目描述 關於對於學生成績相關的練習題，之前是一個入門級別的需求，現在對這些需求進行增強，首先看數據的改變： computer,huangxiaoming,85,86,41,75,93,42,85 computer,xuzheng,54
2019-06-18 02:25:37
3
原创 MapReduce--13--學生成績（增強版）--需求2
題目描述 關於對於學生成績相關的練習題，之前是一個入門級別的需求，現在對這些需求進行增強，首先看數據的改變： computer,huangxiaoming,85,86,41,75,93,42,85 computer,xuzheng,54
2019-06-18 02:25:37
1