#1、ELK簡介
核心組件: 1、Elasticsearch 2、Logstash 3、kibana ELasticsearch: 開源的分佈式搜索引擎,具有分佈式、配置簡單、自動發現、索引自動分片、索引副本機制、 restful風格接口等。 Logstash: 是一個完全開源的日誌收集及格式化輸出的工具,能夠對日誌進行收集和分析,將其存儲供之後 使用。 Kibana: 爲Logstash和Elasticsearch提供友好的用戶界面,可以幫助彙總、分析及搜索重要數據日誌。
#2、整體架構
#3、數據流向
logstash client部署在每一臺需要收集日誌的服務器上,作爲收集日誌的客戶端。同時進行日誌的格式化工作,對字段進行增加或者減少等工作。 redis服務器作爲消息隊列服務器,所有從logstash client採集過來的數據都要從redis服務器上走一遍,否則可能在logstash客戶端採集的數據量過大的時候,在logstash client和server中不加消息隊列服務器,可能會直接將logstash server或者elasticsearch server堵塞,導致整個系統不可用。 logstash server直接從redis server段獲取對應的數據,輸出到elasticsearch server集羣中。 elasticsearch server集羣將輸入的數據進行分析、分片、索引和存儲,輸出值kibana進行展示。 kibana直接面向用戶進行數據的展示、搜索以及繪圖等功能。
#4、相關文檔
官網: 官網指南:https://www.elastic.co/guide/index.html 中文手冊-elasticsearch: 入門文檔:http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html 中文指南-logstash:http://kibana.logstash.es/content/logstash/plugins/filter/metrics.html