flume的級別的架構使用--實際場景應用--可以用於分佈式的服務形式的日誌採集

首先這個是我的原創文章,也參考了網絡上的各位大神的文章加上自己的總結,歡迎各位大神指出錯誤!我們共同進步!

flume級別的架構使用(常用模式)

直接上乾貨,文字性的描述有


1.介紹:

log是各個分佈式服務的日誌,可用從web的service產生的log

Source組件(每一個的)都是採集不同的service的服務的log

channel組件(每一個的)都是接收不同source傳過來的log

Sink組件(每一個的)都是接收對應的channel管道的log

上面所有的服務的都需要再次彙總到一個flume的source組件中,在通過一樣的關係在下沉到你想要到的地方

2.好處:

這種模式也是可以達到複製日誌的目的,尤其是在最後使用的一個Sink中下沉的時候可以複製存儲到不同的位置.比如hdfs中。

這種模式也是可以達到分流的作用,尤其是在最後使用的一個Sink中下沉的時候可以分流到不同的地方

3.也能實現負載均衡:

負載均衡:英文名稱爲Load Balance,其意思就是分攤到多個操作單元上進行執行,例如Web服務器FTP服務器企業關鍵應用服務器和其它關鍵任務服務器等,從而共同完成工作任務.

上面完成的也是多個的並行執行模式










發佈了9 篇原創文章 · 獲贊 2 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章