原创 什麼是謂詞下推，看這一篇就夠了
目錄1.什麼是謂詞2.什麼是下推3.什麼是謂詞下推4.一些常見的應用4.1傳統數據庫應用4.2Hive中的謂詞下推4.3列式存儲中的謂詞下推 今天有個小夥伴問我，什麼是謂詞下推，然後我就開啓巴拉巴拉模式，說了好長一段時間，結果發現他還是懵的
2022-08-16 14:09:47
原创 Hive存儲格式之RCFile詳解，RCFile的過去現在和未來
我在整理Hive的存儲格式和壓縮格式，本來打算一篇發出來，結果其中一小節就有很多內容，於是打算寫成Hive存儲格式和壓縮格式系列。 本節主要講一下Hive存儲格式最早的典型的列式存儲格式RCFile。 綜述 RCFile（Record Co
2022-08-15 14:16:03
原创 什麼是hive的靜態分區和動態分區，它們又有什麼區別呢？hive動態分區詳解
面試官問我，什麼是hive的靜態分區和動態分區，這題我會呀。 簡述 分區是hive存放數據的一種方式，將列值作爲目錄來存放數據，就是一個分區，可以有多列。 這樣查詢時使用分區列進行過濾，只需根據列值直接掃描對應目錄下的數據，不掃描不關心的分
2022-08-08 14:10:05
原创 關於hive分區，你知道多少呢？
文末查看關鍵字，回覆贈書 一、理論基礎 1.Hive分區背景 在Hive Select查詢中一般會掃描整個表內容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據，因此建表時引入了partition概念。 2.Hive
2022-08-03 14:06:56
原创 最新IDEA永久激活攻略
前言 寫這篇文章的原因是我最近想自己寫兩個項目,卻發現自己的IDEA過期了,對,就是那個JAVA編輯器,於是研究了一下IDEA的激活.發現網上的攻略大多數不可用. 當然這裏推薦大家去官網購買正版使用.下面是官網鏈接:請點擊https://w
2020-07-18 13:40:37
原创 Oozie任務調度框架詳解及使用簡介(一)
摘要:個人最近一段時間一直在使用oozie,從剛開始的各種彆扭到現在越來越覺得有意思的情況下,想整理一下關於oozie的認知,整理出來一個oozie系列,本來市面上關於oozie的資料就比較少,希望寫完後能形成自己對oozie的獨特理解和加
2020-02-20 14:41:25
原创 Ambari下安裝oozieUI界面無法訪問問題
前言: 其他集羣管理工具安裝oozie和手動編譯安裝oozie,關於oozie的UI界面無法訪問的問題,大致和該方法類似. 找到下面4步驟裏的視圖顯示的目錄,有一個ext-2.2軟鏈指向的路徑 lrwxrwxrwx 1 oozie hado
2020-02-20 14:41:25
原创 Linux下Python3的安裝
在不卸載Python2版本的同時使用Python3.* 切勿刪除Python2,不然會出問題 參考這篇文章 手抖把Python2.7卸載了,導致了自己的yum不可用 環境: centos7.4 版本：python3.8 1.依賴包安裝 yu
2020-02-20 14:41:25
原创 手抖把Python2.7卸載了,導致了自己的yum不可用以及yum因python版本無法使用的問題
摘要: 從標題就能看到我有多心如死灰了,簡單介紹下我是如何自殘的過程. ①首先因爲需要部署爬蟲程序,然後安裝Python3. ②Python3系列和Python2系列版本不向下兼容,所以我就卸載了機器自帶的Python2.7,刪的乾乾淨淨.
2020-02-20 14:41:25