原创 Hbase數據備份案例講解
HBase的數據備份 1.1 基於HBase提供的類對錶進行備份 使用HBase提供的類把HBase中某張表的數據導出到HDFS，之後再導出到測試hbase表中。 (1) ==從hbase表導出到HDFS== [hadoop@no
2020-02-25 13:01:56
原创 8、Yarn資源調度系統架構與原理分析
@[TOC] 1、Yarn介紹 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子項目，爲分離Hadoop2.0資源管理和計算組件而引入。YARN的誕生緣於存儲於HDFS的
2020-02-20 13:03:53
1
原创 Hbase數據存儲原理與讀寫詳解
1、HBase的數據存儲原理 一個HRegionServer會負責管理很多個region 一個*region包含很多個store 一個列族就劃分成一個store** 如果一個表中只有1個列族，那麼每一個region中只有一個store
2020-02-20 13:03:53
原创 14、Hive壓縮、存儲原理詳解與實戰
1、Hive 壓縮 1.1數據壓縮說明 壓縮模式評價： （1）壓縮比 （2）壓縮時間 （3）已經壓縮的是否可以再分割；可以分割的格式允許單一文件有多個Mapper程序處理，纔可以更好的並行化。 Hadoop編碼/解碼器方式： 1.2數據壓
2020-02-20 13:03:53
1
原创 15、Hive函數詳解與案列實戰
1、Hive系統內置函數 1.1、數值計算函數 1、取整函數: round 語法: round(double a)返回值: BIGINT說明: 返回double類型的整數值部分 （遵循四捨五入） hive> select round(3.1
2020-02-20 13:03:53
2
原创 Hbase的API案例實戰
1、創建maven工程 自動導包（需要從cloudera倉庫下載，耗時較長，耐心等待） 如下內容作爲maven工程中pom.xml的repositories的內容 <repositories> <rep
2020-02-20 13:03:53
原创 Hbase的region合併與拆分詳解
1、region 拆分機制 region中存儲的是大量的rowkey數據 ,當region中的數據條數過多的時候,直接影響查詢效率.當region過大的時候.hbase會拆分region , 這也是Hbase的一個優點 . HBa
2020-02-20 13:03:53
原创 #IT明星不是夢#Hadoop整合Hbase案例詳解
需求：編寫mapreduce程序實現將hbase中的一張表的數據複製到另一張表中 *要求：讀取HBase當中user這張表的f1:name、f1:age數據，將數據寫入到另外一張user2表的f1列族裏面去==**** 第一步：創建表 注
2020-02-20 13:03:53
原创 #IT明星不是夢#Hive面試總結
1、Hive導出數據有幾種方式？如何導出數據 （1）insert 導出本地： insert overwrite local directory '本地路徑' select * from 表名; 導出到HDFS： insert overwri
2020-02-20 13:03:53
原创 11、Hive安裝詳細教程
VX：數據科學講堂 領取教程 1.準備hive安裝包 自行按照1.1教程提示下載hive的安裝包 1.1 下載hive 下載地址 打開下載地址後，如下圖點擊apache-hive-1.2.2-bin.tar.gz 下載 1.2 上傳hvi
2020-02-20 13:03:52
原创 12、Hive核心概念與原理詳解
關注VX:數據科學講堂，領取教程 1、 Hive核心概念和架構原理 1.1、 Hive概念 Hive由FaceBook開發，用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的數據倉庫工具，可以將結構化數據映射爲一張表，提
2020-02-20 13:03:52
原创 10、Hive核心概念和架構原理
1、 Hive核心概念和架構原理 1.1、 Hive概念 Hive由FaceBook開發，用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的數據倉庫工具，可以將結構化數據映射爲一張表，提供類似SQL語句查詢功能 本質：將
2020-02-20 13:03:52
原创 Hadoop學習之路(7)MapReduce自定義排序
本文測試文本： tom 20 8000 nancy 22 8000 ketty 22 9000 stone 19 10000 green 19 11000 white 39 29000 socrates 30 40000 MapRed
2020-01-01 12:58:46
原创 Hadoop學習之路(6)MapReduce自定義分區實現
MapReduce自帶的分區器是HashPartitioner原理：先對map輸出的key求hash值，再模上reduce task個數，根據結果，決定此輸出kv對，被匹配的reduce任務取走。自定義分分區需要繼承Partitioner，
2019-12-29 12:58:11
原创 Hadoop學習之路(5)Mapreduce程序完成wordcount
程序使用的測試文本數據： Dear River Dear River Bear Spark Car Dear Car Bear Car Dear Car River Car Spark Spark Dear Spark 1編寫主要類
2019-12-28 12:58:17