簡單ELK平臺構建

elasticsearch

安裝

官網下載：https://www.elastic.co/downloads/elasticsearch 解壓文件到需要安裝的文件夾（不能用root用戶解壓，不能用root用戶啓動）。

配置

• 修改配置文件/etc/security/limits.conf，添加如下內容：

*soft nofile 65536
*hard nofile 131072
*soft nproc 2048
*hard nproc 4096

• 修改配置文件/etc/security/limits.d/90-nproc.conf(沒有此文件，未做修改好像也可以！)，修改內容如下：

*soft nproc 1024 修改爲*soft nproc 2048

• 修改配置文件/etc/sysctl.conf，添加下面配置：

vm.max_map_count = 655360

完成後輸入sysctl -p

• 配置elasticsearch-5.4.0/config/elasticsearch.yml
  在Network下面配置：
  networ.host: 10.102.34.244<–修改爲本機iP
  在Memory下面配置:
  bootstrap.memory_lock: false
  bootstrap.system_call_filter: false

啓動

在$ES_HOME目錄下輸入:bin/elasticsearch

logstash

安裝下載

官網下載logstash：https://www.elastic.co/downloads/past-releases/logstash-5-4-0 解壓文件到需要安裝的文件夾

配置

進入logstash根目錄，創建test.conf文件

input {
stdin{}
    tcp {
		host => "127.0.0.1"
		port => 9100
		mode => "server"
		codec => json_lines
    }
}
output {
	 stdout { codec => rubydebug }
	 if [item]=="gateway" {
	    elasticsearch {
		hosts => '127.0.0.1:9200'
		user => elastic
        	password => changeme
		index => 'quzou-gateway-%{+YYYY-MM-dd}'
		}
	}
	if [item]=="rebate" {
	    elasticsearch {
		hosts => '127.0.0.1:9200'
		user => elastic
        	password => changeme
		index => 'quzou-rebate-%{+YYYY-MM-dd}'
		}
	}
}

啓動

進入logstash根目錄，運行

nohup bin/logstash -f test.conf > nohup.out 2>&1 &

Kibana

安裝

官網下載：https://www.elastic.co/downloads/past-releases/kibana-5-4-0 解壓文件到需要安裝的文件夾

配置

進入根目錄，修改config文件下kibana.yml文件，加入：

server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"

啓動

進入kibana根目錄，運行:

nohup bin/kibana > nohup.out 2>&1 &

X-pack(可選)

安裝

安裝X-pack的時候分別在ElasticSearch根目錄和Kibana根目錄下操作。

Elasticsearch安裝X-Pack

先進入elasticsearch安裝的目錄，然後鍵入下命令：bin/elasticsearch-plugin install x-pack
卸載：elasticsearch-plugin remove x-pack

Kibana安裝X-Pack

先進入kibana的安裝目錄，然後鍵入以下命令：bin/kibana-plugin install x-pack
卸載：kibana-plugin remove x-pack

logstash 安裝 x-pack

先進入logstash的安裝目錄，然後鍵入以下命令：bin/logstash-plugin install x-pack
卸載：logstash-plugin remove x-pack

驗證X-Pack

在瀏覽器上輸入： http://127.0.0.1:5601/ ，可以打開Kibana，此時需要輸入用戶名和密碼登錄，默認分別是 elastic 和 changeme

如果遇到401錯誤，請參考:安裝X-Pack插件之後Logstash無法連接Elasticsearch