原创 大數據工程師必會的知識點之一：關於hive的分區和分桶
1、Hive分區表 在Hive Select查詢中一般會掃描整個表內容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據，因此建表時引入了partition概念。分區表指的是在創建表時指定的partition的分區
2020-06-24 15:58:35
原创 大數據乾貨丨最全面得的Hive性能優化
1.介紹 首先，我們來看看Hadoop的計算框架特性，在此特性下會衍生哪些問題？ 數據量大不是問題，數據傾斜是個問題。 jobs數比較多的作業運行效率相對比較低，比如即使有幾百行的表，如果多次關聯多次彙總，產生十幾個jobs，耗時很長
2020-06-24 15:58:35
原创 大數據之Hive實踐分享之存儲和壓縮問題的詳解
給大家分享一篇關於Hive實踐分享之存儲和壓縮的坑詳解，首先大多數同學在學習大數據技術的過程中，Hive是非常重要的技術之一，但我們在項目上經常會遇到一些存儲和壓縮的坑，本文通過大數據的武老師整理，分享給大家。 大家都知道，由於集羣資源
2020-06-24 15:58:24
原创 Hive SQL常用命令總結，大數據開發人員按需收藏
Hive是基於Hadoop生態的一個重要組件，是對數據倉庫進行管理和分析數據的工具。她提供了SQL查詢方式來分析存儲在HDFS分佈式文件系統中的數據，可以將結構化的數據文件映射爲一張數據庫表，並提供完整的SQL查詢功能。 這種SQL
2020-06-24 15:58:24
原创 大數據學習路線hive內部函數
大數據學習路線hive內部函數，持續爲大家更新了大數據學習路線，希望對正在學習大數據的小夥伴有所幫助。 1、取隨機數函數：rand() 語法: rand(),rand(int seed) 返回值: double 說明: 返回一個0到
2020-06-24 15:58:22
原创 Hadoop 系列之 Hive
Hive 的官網：http://hive.apache.org/ Hive versions 1.2 onward require Java 1.7 or newer. 上一篇提到的 MapRedue 雖然簡化了分佈式應用的實現方式，但還
2020-02-22 16:48:37
原创 Hive 如何確定 map 數的？
最近批量刷數據的時候，由於集羣資源緊張，需要控制一些 map 的數量，本文從底層代碼觸發，帶大家瞭解一下 MR 是如何讓切分 map 數的。 Hive 是基於 Hadoop 的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表
2020-02-22 16:48:37
原创 走近大數據之Hive進階（一、Hive數據的導入）
一、使用Load語句進行數據的導入 -語法： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcoll
2020-02-22 16:48:27
原创 Hive函數大全
Hive函數大全 現在雖然有很多SQL ON Hadoop的解決方案，像Spark SQL、Impala、Presto等等，但就目前來看，在基於Hadoop的大數據分析平臺、數據倉庫中，Hive仍然是不可替代的角色。儘管它的相應延遲大，儘
2020-02-22 16:48:27
原创 走近大數據之Hive進階（六、Hive的客戶端操作）
通過jdbc的方式操作hive需要開啓相關服務 hive --service hiveserver //開啓hive遠程服務，以便jdbc遠程連接 一、Hive的JDBC客戶端操作 新建Java項目 需要用到的jar包，
2020-02-22 16:48:27
原创 大數據hive學習路徑
hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供簡單的sql查詢功能，可以將sql語句轉換爲MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapRe
2020-02-22 16:48:27
原创 走近大數據之Hive進階（四、Hive的表連接）
HIVE表連接(轉換成mapreduce作業,提交到hadoop上) 一、Hive等值連接和不等值連接 等值連接(連接條件中爲等號): select e.empno, e.ename,e.sal,d.dname from emp
2020-02-22 16:48:27
原创 大數據學習路線之hive表的查詢
大數據學習路線之hive表的查詢 1.join 查詢 1、永遠是小結果集驅動大結果集(小表驅動大表，小表放在左表)。 2、儘量不要使用join，但是join是難以避免的。 left join 、 left outer join 、 le
2020-02-22 16:48:27
原创 大數據學習路線分享hive的運行方式
大數據學習路線分享hive的運行方式 hive的屬性設置： 1、在cli端設置 (只針對當前的session) 3、在java代碼中設置 (當前連接) 2、在配置文件中設置 (所有session有效) 設置屬性的優先級依次降低。 c
2020-02-22 16:48:27
原创 大數據開發之路：hive篇
引語 大數據開發之路漫漫其修遠兮，吾將上下而求索。很多入門大數據的小夥伴，可能第一個接觸到的，就是一隻可愛的“小象”，也就是我們的大數據領域的數據倉庫工具hive。 這隻小象給我們提供了方便類SQL查詢語言HQL來操縱數據，
2020-02-22 16:48:27