apache pulsar

原文鏈接:https://blog.csdn.net/liyiming2017/article/details/82966031

pulsar最初由Yahoo開發,並於2016年底開源,現在是Apache軟件基金會的一個孵化器項目。Pulsar在Yahoo的生產環境運行了三年多,助力Yahoo的主要應用,如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini廣告平臺和Yahoo分佈式鍵值存儲系統Sherpa。

pulsar和kafka最顯而易見的區別是,pulsar支持多租戶,有着資產和命名空間的概念,資產代表系統裏的租戶。假設有一個Pulsar集羣用於支持多個應用程序(就像Yahoo那樣),集羣裏的每個資產可以代表一個組織的團隊、一個核心的功能或一個產品線。一個資產可以包含多個命名空間,一個命名空間可以包含任意個主題。

 

分區:pulsar和kafka一樣都支持主題的多分區。

持久化:kafka文件存儲,pulsar採用Apache BookKeeper存儲。這也是pulsar的一個顯著優點,kafka文件存儲分佈在集羣的各個broker上,一旦broker掛掉或者新的broker加入就會進行副本的leader選舉或者分區平衡操作,這樣做會消耗kafka的性能。而pulsar的broker是無狀態的,數據存儲在BookKeeper中,服務和數據是分離的。所以它並不會面臨這種問題,可以隨意進行集羣的調整。此外kafka的broker還要關心存儲量是否超出了自己硬盤的空間。而pulsar不存在這個問題。

發佈的 2.2 版本中,Pulsar 將會引入了 SQL,方便對存儲在 Pulsar 裏面的數據進行 SQL 查詢和分析。Pulsar SQL 藉助 Presto,爲用途提供了高效可擴展的查詢。這種高效的查詢,主要得益於 Pulsar 底層的存儲系統 Apache BookKeeper。

在 Pulsar 從開源到畢業的這段時間,吸引了不少國內外用戶。目前 Pulsar 的成熟用戶包括 MercadoLibre, Oath, One Click Retail, STICorp, TaxiStartup, Yahoo Japan Corporation 和智聯招聘等。
 

官網:

http://pulsar.apache.org/docs/zh-CN/pulsar-2.0/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章