Impala核心組件與架構

核心組件
• Statestore Daemon
– 負責收集分佈在集羣中各個impalad進程的資源信息、各節點健康狀況,同步
節點信息.
– 負責query的調度

• Catalog Daemon
– 分發表的元數據信息到各個impalad中
– 接收來自statestore的所有請求

• Impala Daemon(最核心)
– 接收client、hue、jdbc或者odbc請求、Query執行並返回給中心協調節點
– 子節點上的守護進程,負責向statestore保持通信,彙報工作

整體架構
這裏寫圖片描述
首先,由上可知,Statestore和Catalog是需要通信的,所以,搭建時,這兩個是放在一臺主機上,從而使之通信不需走網絡請求。
執行流程:客戶端(SQL APP、ODBC)發送SQL請求至Query Planner,解析後送至QueryCoordinator進行負載均衡的一個調度(當前的QueryCoordinator將作爲整個job的leader),分發到不同的Impalad進程,並最終通過各個Query Executor來執行查詢,最後將執行結果送回QueryCoordinator(leader),返回給客戶端。
Impalad的數據是存儲在HDFS或者HBasse中,所以,Impalad進程與DataNode部署在一臺機器上。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章