Logstash-7.3.0安裝

Logstash-7.3.0安裝

1、下載解壓logstash

網速慢的可以從華爲雲上下載
https://mirrors.huaweicloud.com/logstash/7.3.0/logstash-7.3.0.tar.gz

cd /opt && mkdir logstash
cd /opt/logstash/
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.tar.gz
tar -zxvf logstash-7.3.0.tar.gz

2、測試驗證logstash

cd /opt/logstash/logstash-7.3.0/bin
./logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["192.168.12.136:9200"] } stdout { codec => rubydebug }}'

此時窗口停留在"Successfully started Logstash API endpoint {:port=>9600}"狀態，輸入任意字符，如test log 123

{
      "@version" => "1",
    "@timestamp" => 2020-04-30T14:07:51.300Z,
          "host" => "centos140",
       "message" => "test log 123"
}

3、常用啓動參數

參數	說明	舉例
-e	立即執行，使用命令行裏的配置參數啓動實例	./bin/logstash -e ‘input {stdin {}} output {stdout {}}’
-f	指定啓動實例的配置文件	./bin/logstash -f config/test.conf
-t	測試配置文件的正確性	./bin/logstash -f config/test.conf -t
-l	指定日誌文件名稱	./bin/logstash -f config/test.conf -l logs/test.log
-w	指定filter線程數量，默認線程數是5	./bin/logstash -f config/test.conf -w 8

爲了方便使用命令，可以創建一個軟鏈接

ln -s /opt/logstash/logstash-7.3.0/bin/logstash /usr/bin/

然後就可以用直接用logstash -e ‘input {stdin {}} output {stdout {}}’

4、logstash啓動

cd /opt/logstash/logstash-7.3.0/bin
./logstash -f /opt/logstash/logstash-7.3.0/config/my.conf

5、到kibana中配置&查看日誌

這裏以之前測試的test log 123日誌爲例

• Create index pattern

Index pattern填寫 logstash-*，點擊Next step

• 選擇索引，也可以不選擇，這裏選擇時間索引爲例，點擊Create index pattern創建

• 創建完成後，點擊Discover視圖（選擇根據時間索引）

No results match your search criteria

修改查查詢時間

6、logstash停止

ps -ef|grep logstash
kill -9 進程號

7、logstash配置規則文件

新增配置文件my.conf到/opt/logstash/logstash-7.3.0/config目錄下，採集tomcat日誌

• 文件內容

# Sample Logstash configuration for creating a simple
# local -> Logstash -> Elasticsearch pipeline.

input {
  file {
    path => "/opt/tomcat/apache-tomcat-8.5.54/logs/*.log"
    start_position => beginning
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.12.136:9200","http://192.168.12.137:9200","http://192.168.12.138:9200"]
    index => "myapplog-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

• 文件檢查

啓動tomcat，然後參考步驟5配置kibana，查看日誌

8、推薦閱讀

Logstash 最佳實踐