原创 【Hive】Hive高級聚合（grouping sets、rollup、cube）
Hive高級聚合（0.10開始支持） 高級聚合功能相當於group by 加強 grouping sets：多個group by 進行union all，在同一個數據集進行多重group by 該關鍵字可以實現同一數據集的多重
2020-06-18 21:28:09
原创 【Hive】HiveServer & HiveServer2 對比
HiveServer1的限制：用戶併發性（不能處理多餘一個客戶端的併發請求）、LDAP安全性、訪問限制 HiveServer2在Hive1.1引入（HIVE-2935),提供更好的併發性、安全性、遠程訪問 HiveServer2
2020-06-18 21:28:09
原创 【Lambda】Lambda表達式
基本語法： (parameters) -> expression 或 (parameters) ->{ statements;} String[] atp = {"Rafael Nadal", "Novak Djokovic",
2020-06-18 21:28:09
原创 【Hive】Hive數據傾斜
數據傾斜： hive在跑數據時經常會出現數據傾斜的情況，使的作業經常reduce完成在99%後一直卡住，最後的１%花了幾個小時都沒跑完，這種情況就很可能是數據傾斜的原因，解決方法要根據具體情況來選擇具體的方案 （1）key值發生傾斜，
2020-06-18 21:28:09
原创 【問題】Intellij 搜索全局快捷鍵失效解決辦法
在使用Intellij IDEA時，使用ctrl + shift + F 全局搜索時，由於輸入法干擾導致失效。 更改以下配置即可：
2020-06-18 21:28:09
原创 【Shell】grep sed awk
grep [options] PATTERN -i：忽略大小寫 --color：匹配到的字符用其他顏色顯示出來 -v：顯示沒有匹配到的行 -o：只顯示被模式匹配到的字符串，不顯示行 -A n：顯示該行及其後n行 -B n：顯示該行及其前
2020-06-02 04:50:13
原创 Scala學習梳理
第1章 概述 Scala是一個編譯型的靜態類型語言 Scala REPL：Read（讀）、Evaluate（執行）、Print（打印）、Loop（循環） 第2章 處理數據：字面量、值、變量和類型 Scala編譯器將從賦值判斷這個值
2020-06-02 04:50:13
原创 【Hive】《Hive編程指南》梳理
轉載請註明出處 第1章 基礎知識 Hive不支持事務（標註：低版本不支持，高版本ACID支持） Hive不支持OLTP（聯機事務處理）所需要的關鍵功能，而更接近成爲一個OLAP（聯機分析技術）工具。 MapReduce是一種計算模型，
2020-06-02 04:50:13
原创 【錯誤處理】Java之替換“\n”符號
在去除字符串中的換行符(\n)的時候，寫成str.replace("\\n", "")才能正確執行。 str.replace("\n","") ，str.replaceAll("\\n","")，str.replaceAll("\n","
2020-05-22 05:07:00
原创 Hive與數據庫的區別
區別點 Hive 傳統數據庫 SQL SQL-92標準 數據存儲位置 數據存儲在Hdfs中 保存在塊設備或本地文件系統 數據讀取 讀時模式：加載數據不會驗證 寫時模式：數據寫入時檢查
2020-05-09 12:57:28
原创 【補坑】Java自動裝箱的原因
要考慮兩點原因： （1）Java中原始變量包含的值可能具有不同的長度（例如：float、double） 原始變量不能以相同的方式互換，也不能彼此互換，也不能互換Object（例如 String Object） （2）泛型擦除 了避免對
2020-04-19 07:39:07
原创 【錯誤處理】git-am is in progress
git-am的用法： git-am 可以一次合併一個文件，或者一個目錄下所有的patch 參考：https://blog.csdn.net/mliubing2532/article/details/7577905 git pull 的
2020-03-19 04:43:57
原创 【Hive】Inspector
ObjectInspector幫助我們研究複雜對象的內部結構，解耦了數據使用和數據格式，從而提高了代碼的複用度。 一個ObjectInspector實例代表了一個類型的數據在內存中存儲的特定類型和方法。 一個ObjectInspect
2020-02-20 14:53:46
原创 Guava工具包使用
Guava工具包含了若干被Google的 Java項目廣泛依賴 的核心庫，例如： 集合 [collections] 緩存 [caching] 原生類型支持 [primitives support] 併發庫 [concurrency lib
2020-02-20 14:53:45
原创 【問題】Maven本地存在jar包，但是編譯不過（Could not find artifact...）
報錯信息： Could not find artifact com.xxxxx in artifactory-maven-remote 原因是因爲包含下載未成功的文件（.lastUpdated），遠程倉庫配置信息（_remote.r
2020-02-20 14:53:45