Apache druid Roll-up前後的數據量對比sql,見證roll-up的強大

簡述

Roll-up 是Apahce druid 中重要的特性之一,在特定時間段內的數據,維度一致時可以進行壓縮合並。減少數據量。
但有時爲了估算壓縮前後數據量如何查詢呢?
在druid 中默認提供了sum函數可以統計壓縮前的數據量。
下面來看下語法如何寫吧。

Roll-up前後的數據量對比sql

SELECT SUM("count") as "roll-up前" ,COUNT(*) as " roll-up後" FROM table_name

查詢效果
在這裏插入圖片描述
由於上面的維度值較多,roll-up效果 只做到了 7%的效果。來看下另一個
在這裏插入圖片描述
這個壓縮比非常可觀了。roll-up前近13億數據,roll-up後只有140W,只有千分之一了。

總結

roll-up是apache druid 進行海量數據運算的法寶之一。根據自己需要的屬性進行提取建表,可以大大的減少數據量,提升數據查詢能力。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章