EFK相關監控：filebeat、logstash、ES監控，Kafka-manager監控

Filebeat的監控：利用kibana

方法一：直接配置kibana的域名

# filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data0/logs/*/*/*.log
  ignore_older: 168h

setup.kibana:
  # Kibana Host
  host: "elk.fangdd.net:80"

方法二：通過xpack進行配置（與logstash的配置相似）

 

 

logstash監控：利用kibana

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: ["http://xxx:9200", "http://xxx:9200"] 
xpack.monitoring.elasticsearch.username: "username" 
xpack.monitoring.elasticsearch.password: "password"

 

 

ES監控：利用kibana

安裝kibana的時候配置（kibana的配置文件）需要直接寫上ES的地址

 

 

Kafka監控：利用Kafka-manager

1.安裝Kafka-manager

直接下載一個編譯（sbt編譯）好的包scp到線上

解壓，配置文件，只需要修改zk地址（注意：很多配置有兩條，一個是環境變量一個寫死，註釋掉一個即可）

2.剛剛安裝Kafka-manager，打開UI是沒有topic信息的，儘管你已經在配置文件中寫入了zk的地址，需要add cluster；

add cluster的時候：選擇Kafka的版本，自定義cluster的名字，重新填zk地址；（注意：我線上裝的Kafka版本是2.3.0，Kafka-manager的版本是2.0.0.0，UI界面選擇Kafka版本時最大可以選到2.2.0版本，經過實測，也可以監控2.3.0版本的Kafka）