ELK-整體架構-簡介

#1、ELK簡介

核心組件:
  1、Elasticsearch
  2、Logstash
  3、kibana

ELasticsearch:
    開源的分佈式搜索引擎,具有分佈式、配置簡單、自動發現、索引自動分片、索引副本機制、
    restful風格接口等。

Logstash:
    是一個完全開源的日誌收集及格式化輸出的工具,能夠對日誌進行收集和分析,將其存儲供之後
    使用。
    
Kibana:
    爲Logstash和Elasticsearch提供友好的用戶界面,可以幫助彙總、分析及搜索重要數據日誌。


#2、整體架構

wKiom1iYTorDjOzJAAE4QBqS8mM046.png-wh_50

#3、數據流向

wKiom1iYTtKShn9-AACsGeDzJ2A632.png-wh_50

   

 logstash client部署在每一臺需要收集日誌的服務器上,作爲收集日誌的客戶端。同時進行日誌的格式化工作,對字段進行增加或者減少等工作。
 redis服務器作爲消息隊列服務器,所有從logstash client採集過來的數據都要從redis服務器上走一遍,否則可能在logstash客戶端採集的數據量過大的時候,在logstash client和server中不加消息隊列服務器,可能會直接將logstash server或者elasticsearch server堵塞,導致整個系統不可用。
 logstash server直接從redis server段獲取對應的數據,輸出到elasticsearch server集羣中。
 elasticsearch server集羣將輸入的數據進行分析、分片、索引和存儲,輸出值kibana進行展示。
 kibana直接面向用戶進行數據的展示、搜索以及繪圖等功能。

#4、相關文檔

官網:
官網指南:https://www.elastic.co/guide/index.html
中文手冊-elasticsearch:
入門文檔:http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html
中文指南-logstash:http://kibana.logstash.es/content/logstash/plugins/filter/metrics.html




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章