前言
關注OLAP領域1年多了,目前還是處於混戰階段,各類工具、技術層出不窮。之前做過clickhouse、tidb、palo的測試,從九個角度對比了這三款經典的OLAP工具:
-
數據導入
-
sql查詢性能
-
QPS
-
資源使用
-
安裝部署
-
社區活躍度
-
SQL 功能對比
-
更新機制
-
其他
一一說來,TiDB具有很多優勢,但是考慮到其對標MySQL(當然,也對標其他的分佈式關係數據庫),在OLAP領域藉助了spark的能力,就沒有將其用在線上。
Palo,本質上是impala+mesa。因爲是百度這幾年纔開源,還不夠成熟,在上線之後,又因爲幾次事故而被下線。運維Palo,還是比較考驗運維人員的能力。
Clickhouse是一個很牛的工具,追求毫秒級響應,這也和Yandex(俄羅斯最大的搜索公司,ck的開源者)的應用場景有關。當然,CK的問題就是受限於單機的物理內存,一旦query的mem消耗過大,將被kill。此外,當有需要分佈式join的場景時,join的子集數據量超過千萬條後,通常會是秒級之上的響應效果。
以上,是一些使用上的經驗。
如果,想對這幾個工具有更多瞭解的同學,可以點擊這個傳送門,有測評資料:
https://h5.luezhi.com/app/index.php?i=2&c=entry&id=75880&do=yd_detail&saas_code=825611007YBD&m=saas_luezhih5.luezhi.com
請在微信客戶端中打開,有需要的自取。
附一圖: