Hive多維度分析MOLAP

背景：MOLAP、ROLAP、HOLAP的區別與聯繫

在線分析處理(OLAP,Online Analytical Processing)是通過帶層次的維度和跨維度進行多維分析的，簡單理解爲一種多維數據分析的方式，通過OLAP可以展示數據倉庫中數據的多維邏輯視圖。在多維分析中，數據是按照維度(觀察數據的角度)來表示的，比如商品、城市、客戶。而維通常按層次(層次維度)組織的，如城市、省、國家，再比如時間也是有層次的，如天、周、月、季度和年。不同的管理者可以從不同的維度(視角)去觀察這些數據，這些在多個不同維度上對數據進行綜合考察的手段就是通常所說的數據倉庫多維查詢，最常見的就如上卷(roll-up)和下鑽(drill-down)了,所謂上卷，指的是選定特定的數據範圍之後，對其進行彙總統計以獲取更高層次的信息。所謂下鑽，指的是選定特定的數據範圍之後，需要進一步查看細節的數據。從另一種意義上說，鑽取就是針對多維展現的數據，進一步探究其內部的組成和來源。值得注意的是，上卷和下鑽要求維度具有層級結構，即數倉中所說的層次維度。

1.1 如何實現數據的多維分析

Hive提供了多維數據分析的函數，如GROUPING SETS,GROUPING_ID,CUBE,ROLLUP,通過這些分析函數，可以輕而易舉的實現多維數據分析。下面將會通過一個案例來了解這些函數的具體含義以及該如何使用這些函數。注意：在hive中使用這些函數之前，要確保開啓了map端聚合，即set hive.map.aggr=true，否則會報如下錯誤：

• GROUPING SETS
  在一個group by查詢中，通過該子句可以對不同維度或同一維度的不同層次進行聚合，簡單理解爲一條sql可以實現多種不同的分組規則，用戶可以在該函數中傳入自己定義的多種分組字段，本質上等價於多個group by語句進行UNION，對於GROUPING SETS子句中的空白集’（）'表示對總體進行聚集。

示例模板

-- 使用GROUPING SETS查詢
SELECT a,
       b,
       SUM(c)
FROM tab1
GROUP BY a,b
GROUPING SETS ((a,b), a,b, ());

-- 與GROUP BY等價關係
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b
UNION
SELECT a, null, SUM( c ) FROM tab1 GROUP BY a, null
UNION
SELECT null, b, SUM( c ) FROM tab1 GROUP BY null, b
UNION
SELECT null, null, SUM( c ) FROM tab1;

• GROUPING__ID

當使用聚合時，有時候會出現數據本身爲null值，很難區分究竟是數據列本身爲null值還是聚合數據行爲null，即無法區分查詢結果中的null值是屬於列本身的還是聚合的結果行，因此需要一種方法識別出列中的null值。grouping__id 函數就是此場景下的解決方案。注意該函數是有兩個下劃線。這個函數爲每種聚合數據行生成唯一的組id。它的返回值看起來像整型數值，其實是字符串類型，這個值使用了位圖策略（bitvector，位向量），即它的二進制形式中的每一位表示對應列是否參與分組，如果某一列參與了分組，對應位就被置爲1，否則爲0。通過這種方式可以區分出數據本身中的null值。看到這是不是還是一頭霧水，沒關係，來看下面的示例：

-- 創建表
create table test_grouping__id(id int,amount decimal(10,2));
-- 插入數據
insert into table test_grouping__id values(1,null),(1,1),(2,2),(3,3),(3,null),(4,5);
--執行查詢
SELECT id,
       amount,
       grouping__id,
       count(*) cnt
FROM test_grouping__id
GROUP BY id,
         amount
GROUPING sets(id,(id,amount),())
ORDER BY grouping__id

查詢結果分析

查詢結果如下圖所示：綠色框表示未進行分組，即進行全局聚合，grouping_id等於0，表示沒有字段參與分組。藍色框表示按照id進行分組，對應的grouping_id爲1，表示只有一個字段參與了分組。橘色的框表示按照id和amount兩個字段進行分組，grouping_id爲3，即有兩個字段參與了分組，轉成十進制爲2^0 + 2^1 = 3。

以上面爲例，分組字段爲id、amount，轉成二進制表示形式爲：

• ROLLUP
  通用的語法爲WITH ROLLUP,需要與group by一起用於在維的層次結構級別上計算聚合。功能爲可以按照group by的分組字段進行組合，計算出不同分組的結果。注意對於分組字段的組合會與最左邊的字段爲主。使用ROLLUP的GROUP BY a，b，c假定層次結構是“ a”向下鑽取到“ b”，“ b”向下鑽取到“ c”。則可以通過GROUP BY a，b，c，WITH ROLLUP進行實現，該語句等價於GROUP BY a，b，c GROUPING SETS（（a，b，c），（a，b），（a），（））。即使用WITH ROLLUP，首先會對全局聚合(不分組)，然後會按GROUP BY字段組合，進行聚合，但是最左側的分組字段必須參與分組，比如a字段是最左側的字段，則a必定參與分組組合。

示例模板

-- 使用WITH ROLLUP查詢
SELECT a,
       b,
       c
       SUM(d)
FROM tab1
GROUP BY a,b,c
WITH ROLLUP
-- 等價於下面的方式
SELECT a,
       b,
       c,
       SUM(d)
FROM tab1
GROUP BY a,b,c
GROUPING SETS ((a,b,c), (a,b), (a),());

• CUBE
  CUBE表示一個立方體，apache的kylin使用就是這種預計算方式。即會對給定的維度(分組字段)進行多種組合之後，形成不同分組規則的數據結果。一旦我們在一組維度上計算出CUBE，就可以得到這些維度上所有可能的聚合聚合結果。比如：GROUP BY a，b，c WITH CUBE，等價於GROUP BY a，b，c GROUPING SETS（（a，b，c），（a，b），（b，c）， （a，c），（a），（b），（c），（））。

其實，可以將上面的情況抽象成排列組合的問題，即從分組字段集合(假設有n個字段)中隨意取出0~n個字段，那麼會有多少中組合方式，如下面公式所示：

結合上面的例子，GROUP BY a，b，c WITH CUBE，那麼所有的組合方式有：（a，b，c），（a，b），（b，c）， （a，c），（a），（b），（c），（）,一共有8種組合，即2^3 = 8。

-- 使用WITH CUBE查詢
SELECT a,
       b,
       c
       SUM(d)
FROM tab1
GROUP BY a,b,c
WITH CUBE
-- 等價於下面的方式
SELECT a,
       b,
       c,
       SUM(d)
FROM tab1
GROUP BY a,b,c
GROUPING SETS ((a,b,c),(a,b),(b,c), (a,c),(a),(b),(c),());

• 使用案件

SELECT t.type,
       t.status,
       count(1),
       grouping__id
FROM ods_callcenter.sdm_call t
WHERE dt = '20200601'
GROUP BY t.type,
         t.status
WITH CUBE
--WITH ROLLUP
--GROUPING SETS(t.status,t.type,(t.status,t.type))