原创 Hue（六）集成HBase
1. 配置HBase Hue需要讀取HBase的數據是使用thrift的方式，默認HBase的thrift服務沒有開啓，所有需要手動額外開啓thrift 服務。 thrift service默認使用的是9090端口，使用如下命
2020-06-20 22:26:23
原创 社區版Hadoop與商用版Hadoop
在實際生產環境中，Hadoop的版本選擇是在設計系統架構之時很重要的一個考慮因素。Hadoop版本主要分爲社區版和商用版: 社區版Hadoop：Apache發佈的一款支持數據密集型分佈式應用並以Apache2.0許可協議發佈的
2020-06-20 21:28:28
原创 Hue（四）集成Hive
1. 說明 本篇主要介紹配置Hue來使用Hive，通過Hue的Web UI來使用Hive的查詢功能。配置分爲兩部分，一個是針對Hive本身的配置，一個是針對Hue的配置。 2. 配置Hive Hive數據存儲在HDFS上，
2020-06-20 21:28:28
2
原创 Phoenix（十）二級索引之— —Append-only Data
1. 說明 覺得還是有必要把這種類型的索引說明一下，phoenix將其二級索引技術劃分爲global and local indexing 2種，但是如果繼續往下細分的話又分爲mutable global indexing、mu
2020-06-20 21:28:28
原创 HBase表預分區
HBase 預分區 在創建HBase表的時候默認一張表只有一個region，所有的put操作都會往這一個region中填充數據，當這個一個region過大時就會進行split。如果在創建HBase的時候就進行預分區則會減少當數據
2020-06-20 21:28:28
原创 Phoenix（七）映射HBase數據表
1. 說明 安裝好phoenix後對於HBase中已經存在的數據表不會自動進行映射，所以想要再phoenix中操作HBase已有數據表就需要手動進行配置。 2. 創建HBase表 > create 'phoenix','in
2020-06-20 21:28:28
原创 Phoenix（六）配置使用Squirrel GUI連接Phoenix
1. 說明 本篇主要介紹使用Squirrel GUI客戶端來連接phoenix，就像MySQL使用Navicat for MySQL，Oracle使用Pl/sql developer一樣，在進行一些數據庫操作的時候能夠更加的直觀
2020-06-20 21:28:28
1
原创 Phoenix（八）二級索引之— —Global Indexing
1. 說明 在HBase中，只有一個單一的按照字典序排序的rowKey索引，當使用rowKey來進行數據查詢的時候速度較快，但是如果不使用rowKey來查詢的話就會使用filter來對全表進行掃描，很大程度上降低了檢索性能。而P
2020-06-20 21:28:28
3
原创 配置Snappy壓縮
1. 功能說明 使用snappy壓縮來提升mapreduce和hbase的性能。其實就是用CPU換IO吞吐量和磁盤空間。配置並使用snappy有如下幾點要求： 首先需要hadoop集羣的native庫已經收到編譯好，並且添加
2020-06-09 20:35:49
原创 Phoenix（十二）使用Phoenix自帶的工具執行sql腳本
1. 說明 phoenix自帶了執行sql腳本的功能，這樣方便了希望能夠直接將一些關係型數據庫的數據進行遷移到HBase（也可以直接使用sqoop進行導入）。 2. 創建腳本 在【PHOENIX_HOME】目錄下創建user
2020-02-23 09:59:15
原创 Hue（一）介紹
1. 說明 HUE——Hadoop User Experience，這是一個與Hadoop生態系統緊密結合的Web UI應用程序，可以通過Hue來查看管理HDFS上面的文件（甚至修改文件內容和刪除文件等）、通過Hue從界面編寫
2020-02-23 09:59:15
3
原创 Phoenix（十一）二級索引之— —性能優化篇
1. 說明 在使用phoenix二級索引的時候可以進行一些參數的修改來優化性能，這個沒有經過實際使用，但是在這裏也記錄一下以供有需要的人蔘考，內容來自官方文檔。 http://phoenix.apache.org/second
2020-02-23 09:59:15
原创 Phoenix（五）JDBC 無法添加數據
1. 說明 在使用phoenix的JDBC驅動連接HBase，進行數據添加的時候發現數據總是無法插入，並且log日誌也沒有任何報錯信息，最後發現是沒有手動commit的緣故，phoenix並沒有幫我們做commit的操作，需要我們
2020-02-23 09:59:15
原创 HBase創建表參數說明
HBase創建表參數 創建dimensoft namespace > create_namespace 'dimensoft' 注：這裏的namespace類似與RDBMS中的數據庫的概念。 創建user表 > create '
2020-02-23 09:59:15
原创 Hue（五）集成Zookeeper
1. 配置zookeeper 將zookeeper集成到Hue是希望通過Hue的Web界面來查看和操作zookeeper中的znode，這需要zookeeper開啓Rest service。 雖然我的zookeeper
2020-02-23 09:59:15