1.沒有日誌分析系統
1.1運維痛點
1.運維要不停的查看各種日誌。
2.故障已經發生了纔看日誌(時間問題。)
3.節點多,日誌分散,收集日誌成了問題。
4.運行日誌,錯誤等日誌等,沒有規範目錄,收集困難。
1.2環境痛點
1.開發人員不能登陸線上服務器查看詳細日誌。
2.各個系統都有日誌,日誌數據分散難以查找。
3.日誌數據量大,查詢速度慢,數據不夠實時。
1.3解決痛點
1.收集(Logstash)
2.存儲(Elasticsearch、Redis、Kafka)
3.搜索+統計+展示(Kibana)
4.報警,數據分析(Zabbix)
2.ElkStack介紹
對於日誌來說,最常見的需求就是收集、存儲、查詢、展示,開源社區正好有相對應的開源項目:logstash(收集)、elasticsearch(存儲+搜索)、kibana(展示),我們將這三個組合起來的技術稱之爲ELKStack,所以說ELKStack指的是Elasticsearch、Logstash、Kibana技術棧的結合,一個通用的架構如下圖所示:
3.ElkStack環境
1.node1和node2爲elasticsearch集羣(不部署Logstash)
2.node3收集對象,Nginx、java、tcp、syslog等日誌
3.node4將logstash日誌寫入Redis,減少程序對elasticsearch依賴性,同時實現程序解耦以及架構擴展。
4.被收集主機需要部署Logstash。
主機名 | IP | JVM | 內存 | 服務 |
---|---|---|---|---|
node1.com | 192.168.90.201 | 32G | 64G | Elasticsearch、Kibana |
node2.com | 192.168.90.202 | 32G | 64G | Elasticsearch、Kibana |
node3.com | 192.168.90.203 | 32G | 64G | Logstash、服務及程序日誌 |
node4.com | 192.168.90.204 | 32G | 64G | Logstash、Redis(消息隊列) |
4.ElkStack部署
Elasticsearch、需要Java環境,所以直接使用yum安裝。
1.安裝java
[root@linux-node1 ~]# yum install java [root@linux-node1 ~]# java -version openjdk version "1.8.0_101" OpenJDK Runtime Environment (build 1.8.0_101-b13)OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)
2.下載並安裝GPG key
# [root@linux-node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch [root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
3.添加elasticsearch、logstash、kibana的yum倉庫
# 添加elasticsearch的yum倉庫 [root@linux-node1 ~]# cat /etc/yum.repos.d/elasticsearch.repo [elasticsearch-2.x] name=Elasticsearch repository for 2.x packages baseurl=http://packages.elastic.co/elasticsearch/2.x/centos gpgcheck=1 gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch enabled=1 [logstash-5.x] name=Elastic repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md
4.安裝ElasticSearch
[root@linux-node1 ~]# yum install -y elasticsearch [root@linux-node1 ~]# yum install -y logstash [root@linux-node1 ~]# yum install -y kibana
5.yum安裝需要配置limits
[root@linux-node1 ~]# vim /etc/security/limits.conf elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited
4.1配置Elasticsearch
[root@linux-node1 ~]# mkdir -p /data/es-data #創建es數據目錄 [root@linux-node1 ~]# chown -R elasticsearch.elasticsearch /data/es-data/ #授權 [root@linux-node1 /]# grep '^[a-z]' /etc/elasticsearch/elasticsearch.yml cluster.name: elk-cluter #集羣名稱 node.name: linux-node1 #節點的名稱 path.data: /data/es-data #數據存放路徑 path.logs: /var/log/elasticsearch/ #日誌存放日誌 bootstrap.mlockall: true #不使用swap分區,鎖住內存 network.host: 192.168.90.201 #允許訪問的IP http.port: 9200 #elasticsearch訪問端口
4.2運行Elasticsearch
1.啓動elasticsearch
[root@linux-node1 ~]# systemctl start elasticsearch
2.訪問:elasticsearch_url: "http://es-mon-1:9200"
{ "name" : "linux-node1", "cluster_name" : "elk-cluter", "version" : { "number" : "2.3.5", "build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4", "build_timestamp" : "2016-07-27T10:36:52Z", "build_snapshot" : false, "lucene_version" : "5.5.0" }, "tagline" : "You Know, for Search" }
4.3Elasticsearch插件
1.安裝Elasticsearch集羣管理插件
[root@linux-node1 ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
訪問head集羣插件:http://ES_IP:9200/_plugin/head/
2.安裝Elasticsearch監控插件
[root@linux-node3 plugins]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
訪問kopf監控插件:http://ES_IP:9200/_plugin/kopf
4.4elasticsearch集羣
1.linux-node2配置一個相同的節點,通過組播進行通信,會通過cluster進行查找,如果無法通過組播查詢,修改成單播即可
[root@linux-node2 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml cluster.name: elk-cluter node.name: linux-node2 path.data: /data/es-data path.logs: /var/log/elasticsearch/ bootstrap.mlockall: true network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.90.201","192.168.90.202"] #單播(配置一臺即可,生產可以使用組播方式)