大數據工具測評:Clickhouse vs TiDB vs Palo

前言

關注OLAP領域1年多了,目前還是處於混戰階段,各類工具、技術層出不窮。之前做過clickhouse、tidb、palo的測試,從九個角度對比了這三款經典的OLAP工具:

  1. 數據導入

  2. sql查詢性能

  3. QPS

  4. 資源使用

  5. 安裝部署

  6. 社區活躍度

  7. SQL 功能對比

  8. 更新機制

  9. 其他

一一說來,TiDB具有很多優勢,但是考慮到其對標MySQL(當然,也對標其他的分佈式關係數據庫),在OLAP領域藉助了spark的能力,就沒有將其用在線上。

Palo,本質上是impala+mesa。因爲是百度這幾年纔開源,還不夠成熟,在上線之後,又因爲幾次事故而被下線。運維Palo,還是比較考驗運維人員的能力。

Clickhouse是一個很牛的工具,追求毫秒級響應,這也和Yandex(俄羅斯最大的搜索公司,ck的開源者)的應用場景有關。當然,CK的問題就是受限於單機的物理內存,一旦query的mem消耗過大,將被kill。此外,當有需要分佈式join的場景時,join的子集數據量超過千萬條後,通常會是秒級之上的響應效果。

以上,是一些使用上的經驗。

如果,想對這幾個工具有更多瞭解的同學,可以點擊這個傳送門,有測評資料:

https://h5.luezhi.com/app/index.php?i=2&c=entry&id=75880&do=yd_detail&saas_code=825611007YBD&m=saas_luezhi​h5.luezhi.com

請在微信客戶端中打開,有需要的自取。

附一圖:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章