Prometheus+Grafana+kafka_exporter搭建監控系統監控kafka

kafka_exporter 通過 Kafka Protocol Specification 收集 Brokers, Topics 以及 Consumer Groups的相關指標，使用簡單，運行高效，相比於以往通過kafka內置的腳本進行收集，由於沒有了JVM的運行開銷，指標收集時間從分鐘級別降到秒級別，便於大規模集羣的監控。

git項目地址：https://github.com/danielqsj/kafka_exporter

下載地址： https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

docker安裝略過

grafana安裝

#docker run -d --name=grafana -v /etc/localtime:/etc/localtime:ro --restart=always -p 3000:3000 grafana/grafana 

prometheus啓動

#docker run -d --name=prometheus -p 9090:9090 --restart=always -v /etc/localtime:/etc/localtime:ro  -v /home/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus

注：提前將需要掛載的目錄創建好

#mkdir -pv /home/prometheus/
#touch /home/prometheus/prometheus.yml

登陸到kafka服務器下載kafka_exporter

#wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz 

# cd kafka_exporter-1.2.0.linux-amd64

# ./kafka_exporter --kafka.server=kafkaIP或者域名:9092 & 

#ss -tunl

注：9308是kafka_exporter的端口

登陸到prometheus服務器

編寫/home/prometheus/prometheus.yml文件

#vim /home/prometheus/prometheus.yml

scrape_configs:

# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

   - job_name: 'prometheus'

     static_configs:

      - targets: ['localhost:9090']

 

  - job_name: 'kafka'

     static_configs:

      - targets: ['kafkaIP或者域名:9308']

        labels:

          instance: kafka@kafkaIP或者域名

重啓prometheus

#docker restart prometheus

通過瀏覽器訪問：http://prometheus服務器IP:9090,所添加的kafka_exporter狀態爲UP，就可以去配置grafana

配置grafana

通過瀏覽器訪問：http://grafana服務器IP:3000，

添加數據源，選擇prometheus，填入prometheus服務器IP端口，點擊保存

導入監控圖表

輸入7589，光標往下移，如下圖

圖表數據就出來了