學習前的思考
1.Hive的數據存儲在什麼地方?
2.Hive的數據格式什麼?
3.Hive用戶定義數據格式需要什麼標準?
4.Hive爲什麼數據加載比傳統數據塊快?
5.Hive的數據是否經常被修改?
6.Hive在什麼情況下,比傳統數據塊延遲高?延遲高的原因是什麼?
------------------------------------------------------------------------------------------------------------------------------------------
由於Hive採用了SQL的查詢語言HQL,因此很容易將Hive理解爲數據庫。其實從結構上來看,Hive和數據庫除了擁有類似的查詢語言,再無類似之處。本文將從多個方面來闡述Hive和數據庫的差異。數據庫可以用在Online的應用中,但是Hive是爲數據倉庫而設計的,清楚這一點,有助於從應用角度理解Hive的特性。
查詢語言 |
HQL |
SQL |
數據存儲位置 |
HDFS |
Raw Device或者 Local FS |
數據格式 |
用戶定義 |
系統決定 |
數據更新 |
不支持 |
支持 |
索引 |
無 |
有 |
執行 |
MapRedcue |
Executor |
執行延遲 |
高 |
低 |
可擴展性 |
高 |
低 |
數據規模 |
大 |
小 |
1.查詢語言
由於 SQL被廣泛的應用在數據倉庫中,因此,專門針對 Hive的特性設計了類
SQL的查詢語言 HQL。熟悉 SQL開發的開發者可以很方便的使用 Hive進行開發。
2.數據存儲位置
Hive 是建立在 Hadoop之上的,所有 Hive的數據都是存儲在
HDFS中的。而數據庫則可以將數據保存在塊設備或者本地文件系統中。
3.數據格式
Hive 中沒有定義專門的數據格式,數據格式可以由用戶指定,用戶定義數據格式需要指定三個屬性:列分隔符(通常爲空格、”\t”、”\x001″)、行分隔符(”\n”)以及讀取文件數據的方法(Hive中默認有三個文件格式
TextFile,SequenceFile以及 RCFile)。由於在加載數據的過程中,不需要從用戶數據格式到
Hive定義的數據格式的轉換,因此,Hive在加載的過程中不會對數據本身進行任何修改,而只是將數據內容複製或者移動到相應的 HDFS目錄中。而在數據庫中,不同的數據庫有不同的存儲引擎,定義了自己的數據格式。所有數據都會按照一定的組織存儲,因此,數據庫加載數據的過程會比較耗時。
4.數據更新
由於 Hive是針對數據倉庫應用設計的,而數據倉庫的內容是讀多寫少的。因此,Hive中不支持對數據的改寫和添加,所有的數據都是在加載的時候中確定好的。而數據庫中的數據通常是需要經常進行修改的,因此可以使用
INSERT INTO ... VALUES添加數據,使用 UPDATE ... SET修改數據。
5.索引
之前已經說過,Hive在加載數據的過程中不會對數據進行任何處理,甚至不會對數據進行掃描,因此也沒有對數據中的某些 Key建立索引。Hive要訪問數據中滿足條件的特定值時,需要暴力掃描整個數據,因此訪問延遲較高。由於
MapReduce的引入, Hive可以並行訪問數據,因此即使沒有索引,對於大數據量的訪問,Hive仍然可以體現出優勢。數據庫中,通常會針對一個或者幾個列建立索引,因此對於少量的特定條件的數據的訪問,數據庫可以有很高的效率,較低的延遲。由於數據的訪問延遲較高,決定了
Hive不適合在線數據查詢。
6.執行
Hive 中大多數查詢的執行是通過 Hadoop提供的 MapReduce來實現的(類似
select * from tbl的查詢不需要 MapReduce)。而數據庫通常有自己的執行引擎。
7.執行延遲
之前提到,Hive在查詢數據的時候,由於沒有索引,需要掃描整個表,因此延遲較高。另外一個導致 Hive執行延遲高的因素是
MapReduce框架。由於 MapReduce本身具有較高的延遲,因此在利用 MapReduce執行
Hive 查詢時,也會有較高的延遲。相對的,數據庫的執行延遲較低。當然,這個低是有條件的,即數據規模較小,當數據規模大到超過數據庫的處理能力的時候,Hive的並行計算顯然能體現出優勢。
8.可擴展性
由於 Hive是建立在 Hadoop之上的,因此
Hive的可擴展性是和 Hadoop的可擴展性是一致的。而數據庫由於 ACID語義的嚴格限制,擴展行非常有限。目前最先進的並行數據庫
Oracle在理論上的擴展能力也只有 100臺左右。
9.數據規模
由於 Hive建立在集羣上並可以利用 MapReduce進行並行計算,因此可以支持很大規模的數據;對應的,數據庫可以支持的數據規模較小。