原创 大數據分析引擎之presto簡介
大數據分析引擎之presto簡介 簡介： presto是一個大數據分析引擎，不屬於hadoop體系，他是基於內存的。他的集羣模式是主從式的。 他可以與任何的大數據存儲引擎做集成，集成的時候使用它的Connectors集成 從這裏
2020-07-03 04:59:39
原创 hive之自定義函數
hive之自定義函數 Hive的自定義函數（是Java語言）：類似數據庫的存儲過程 類型： （1）UDF函數：用戶自定義函數 user define function （*）拼加字符串，實現
2020-04-30 16:27:28
1
原创 hive的分析函數
hive的分析函數 1、rollup：group by 的增強函數 實現根據部門號、工作職位求工資總和，根據部門求工資總和，查所有人的工資總和 通過group by 語句的增加來實現： se
2020-04-29 16:27:05
原创 hive的jdbc
hive的jdbc hive的jdbc和base上的phoenix組件使用一樣，同樣需要連接到一個服務上，只不phoenix是通過zookeeper連接的，而hive的2.X之後需要使用hiveserver2 （後臺需要單獨啓動hives
2020-04-29 16:27:05
原创 hive數據模型之視圖和物化視圖
hive數據模型之視圖 視圖 視圖是用來簡化操作的，它其實是一張虛表，在視圖中不緩衝記錄，也沒有提高性能 測試： create view view1 as select dept.deptno,dept.dname,emp.ename
2020-04-28 16:03:58
1
原创 hive搭建之本地模式和遠程模式
hive搭建之本地模式和遠程模式 hive的本地模式和遠程模式區別在於用於存儲表結構元信息的數據庫在本地還是遠程， 如果數據庫在本地那麼就叫做本地模式，如果在遠程那就叫做遠程模式 搭建 我們數據庫使用的是mysql，在搭建之前還需要注意的
2020-04-27 15:37:56
原创 hive數據模型之桶表
hive的桶表類似於hash分區，桶表在hdfs中存儲是以文件形式存儲的 與其他分區表不同，桶表的分區條件是從表中列名選取的，然後做hash運算，如果hash值相同那麼就放入一個桶表中 創建桶表的示例： create table emp
2020-04-27 15:37:46
原创 hive的數據模型之內部表和外部表
hive的數據模型 hiv的數據模型有6種： 內部表 外部表 分區表 靜態分區 動態分區 桶表 視圖 物化視圖 內部表 從hive上創建的表通過hive存儲到hdfs上的表叫內部表 默認：
2020-04-27 15:37:46
原创 hive的體系架構
大數據分析引擎：Hive（蜂巢），支持SQL（表：數據模型） 1、什麼是Hive？ （*）Hive是基於HDFS之上的一個數據倉庫 Hive HDFS
2020-04-25 15:38:03
原创 hive搭建之嵌入模式
hive搭建之嵌入模式 hive是基於hdfs和yarn平臺的，所以在搭建之前先把hadoop搭建起來 什麼是hive的嵌入模式 我認爲hive的嵌入模式就是它使用的創建元信息的數據庫是嵌入到hive中的derby數據 配置 先把下載好的
2020-04-25 15:38:03
原创 hbase的sql組件之phoenix和phoenix的二級索引的使用
hbase的sql組件之phoenix hbase是一個列式nosql分佈式存儲引擎，在javaapi中對hbase的操作都是基於對象的形式，也可以寫mapreduce程序讀取hbase上的數據和把數據寫入數據， phoenix組
2020-04-24 15:11:49
原创 解決執行hbase clean 和hbase zkcli 出現的找不到類
[root@bigdata111 apache-phoenix-5.0.0-HBase-2.0-bin]# hbase clean --cleanAll 錯誤: 找不到或無法加載主類 org.apache.hadoop.hbase.uti
2020-04-22 14:24:35
原创 hbase啓動不起來，總是剛啓動然後主節點和從節點都掛掉了
我出現這個原因是因爲我在這個節點上放了倆個hbase導致的，我是爲了測試phoenix放了一個hbase2.2和hbase2.0，最後我把 hbase2.0刪除了就可以正常啓動了
2020-04-22 14:24:35
原创 怎麼查找Hbase所有的版本
我們一般在百度或者其他的搜索引擎中一般搜到的是這個https://hbase.apache.org/ 我們點擊進去，就看到下面的頁面 然後在download處的here，然後我們就看到下面的這張圖，這張圖中所列的版本不是所有的版本，接着
2020-04-22 14:24:35