Centos6搭建elk系統,收集IIS日誌

**所需程序:

Centos服務器端:java、elasticsearch、kikbana

windows客戶端:IIS、logstash**

一、服務器端(192.168.10.46)操作:

先建立一個ELK專門的目錄:

[root@Cent65 ~]mkdir /elk/

上傳到elk目錄已經下載好的JDK、elasticsearch、kibana安裝包。

elasticsearch-2.3.4.tar.gz  jdk-8u161-linux-x64.tar.gz  kibana-4.5.3-linux-x64.tar.gz

1、安裝java環境(需要1.8以上java版本)

安裝之前先卸載乾淨舊的java環境

[root@Cent65 ~]# yum remove java

[root@Cent65 ~]# cd /elk/

[root@Cent65 elk]# tar zxf jdk-8u161-linux-x64.tar.gz

[root@Cent65 elk]#vim /etc/profile.d/java.sh

export JAVA_HOME=/elk/jdk1.8.0_161

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@Cent65 elk]# source !$

blob.png

2、安裝elasticsearch

[root@Cent65 elk]# tar zxf elasticsearch-2.3.4.tar.gz

[root@Cent65 elk]# vim elasticsearch-2.3.4/config/elasticsearch.yml

修改54行:

blob.png


[root@Cent65 elk]# cd elasticsearch-2.3.4

啓動:

[root@Cent65 elasticsearch-2.3.4]# ./bin/elasticsearch

blob.png

提示不能使用root用戶運行。需要新建用戶。

[root@Cent65 elasticsearch-2.3.4]# useradd elk

改權限

[root@Cent65 elasticsearch-2.3.4]# cd ..

[root@Cent65 elk]#chown elk.elk elasticsearch-2.3.4 -R

[root@Cent65 elk]# su - elk

[elk@Cent65 ~]$ cd /elk/ && ./elasticsearch-2.3.4/bin/elasticsearch

測試:

[elk@elk ~]$ curl http://192.168.10.46:9200

blob.png

2.1安裝head插件:


進入elasticsearch/bin目錄下運行   ./plugin -install mobz/elasticsearch-head  命令

[root@Cent65 bin]# ./plugin -install mobz/elasticsearch-head

瀏覽器測試:http://192.168.10.46:9200/_plugin/head/

blob.png

3. 安裝kibana


[root@Cent65 elk]# tar zxf kibana-4.5.3-linux-x64.tar.gz

[root@Cent65 elk]# vim kibana-4.5.3-linux-x64/config/kibana.yml 

  修改以下內容: 

blob.png

blob.png

[root@Cent65 elk]# cd kibana-4.5.3-linux-x64

[root@Cent65 kibana-4.5.3-linux-x64]# ./bin/kibana

測試:http://192.168.1.65:5601

blob.png



二、客戶端操作(windows2012)

1、先安裝JAVA環境

下載JDK並安裝 jdk-8u161-windows-x64.exe

配置環境變量:


我的電腦——右鍵屬性——高級系統設置——環境變量

系統變量  新建

JAVA_HOME     變量值爲JDK安裝路徑比如C:\Program Files\Java\jdk1.8.0_161

CLASSPATH    .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

注意最左邊的".和;"

PATH 在原有的變量值最後添加 注意右邊第一個的“”  ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

2、下載logstash 的windows版本 (logstash-6.2.3.zip

解壓到D盤下

進入D:\logstash-6.2.3\logstash-6.2.3

新建test.conf配置文件

寫入以下內容:

input {
  file {
    type => "iis_log_1"
    path => ["C:/inetpub/logs/LogFiles/W3SVC1/*.log"]      
    start_position => "beginning"
  }
}
filter {
  if [type] == "iis_log_1" {
  #ignore log comments
  if [message] =~ "^#" {
    drop {}
  }
  grok {
    # check that fields match your IIS log settings
    match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
  }
    date {
    match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
      timezone => "Etc/UTC"
  }    
  useragent {
    source=> "useragent"
    prefix=> "browser"
  }
  mutate {
    remove_field => [ "log_timestamp"]
  }
  }
}
 output {
        # stdout{
        #        codec => rubydebug{}
        # }
        elasticsearch {
        hosts => ["192.168.10.46:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
         }
}

blob.png

打開powershell

PS C:\Users\Administrator> cd D:\logstash-6.2.3\logstash-6.2.3

blob.png


進入logstash-6.2.3目錄執行下面命令

bin/logstash -f test.conf

blob.png

這裏就成功了。

然後瀏覽器去打開kicbana   http://192.168.10.46:5601  創建索引

blob.png

注意:這裏的索引名稱要跟test.conf文件後面index=> 的名字保持對應。

blob.png

 


此時訪問http://192.168.10.46:5601/已經收集到了日誌:

blob.png

三、後期維護的一些問題:


清除elasticsearch數據

[root@elk elasticsearch-2.3.4]#

curl -XDELETE 'http://192.168.10.46:9200/logstash-2018.04.*'


後期報錯情況分析:

kicbana網頁無法打開,需要重新啓動elasticsearchkibanalogstash

[root@elk ~]# su – elk

[elk@elk ~]$ cd /elk/

[elk@elk elk]$ nohup ./elasticsearch-2.3.4/bin/elasticsearch &

netstat -anptu |grep 9200  查看端口是否正常打開,正常情況如下:

      blob.png

若是沒有啓動,是如下情況:

      blob.png

所以需要重新啓動:

[root@elk ~]# cd /elk/

[root@elk elk]# nohup ./kibana-4.5.3-linux-x64/bin/kibana &

查看及刪除索引

curl get http://192.168.10.46:9200/_cat/indices   查看索引   
curl -XDELETE  http;// 192.168.10.46:9200/logstash_20180101 刪除索引。 


就先寫到這裏,歡迎到家提問、指正。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章