【背景】
我們要統一收集日誌，統一分析，統一在一個平臺上搜索過濾日誌！在上一篇中已經完成了ELK的搭建，那麼該如何將每臺客戶端的日誌集中到ELK平臺中呢？
【本系統介紹】
ELK -- 192.168.100.10 (這個地方要有FQDN 創建SSL證書的時候需要配置FQDN，www.elk.com)
被收集日誌的客戶端(也叫 logstash shipper) --- 192.168.100.13
ELK環境:
[root@master ~]# ifconfig | grep 192.168.100
inet addr:192.168.100.10 Bcast:192.168.100.255 Mask:255.255.255.0
[root@master ~]# cat /etc/hosts | grep 192.168.100.10
192.168.100.10 www.elk.com
[root@master ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m
客戶端(logstash shipper)環境:
[root@slave ~]# ifconfig | grep "192.168."
inet addr:192.168.100.13 Bcast:192.168.100.255 Mask:255.255.255.0
[root@slave ~]# cat /etc/hosts | grep 192.168.100.10
192.168.100.10 www.elk.com
[root@slave ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m
【client 和 server是如和通信的】
參考:
http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/full_config.html
【通信架構圖】
server端中的logstash配置文件(即-f後面指定的文件)
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf
一定有一個input端和一個output端
input端可以來自本地文件，也可以來自其他機器通過網路(端口)傳輸過來的
所以logstash的C/S架構就要通過網絡進行傳輸
原理解釋客戶端安裝一個logstash-forwarder軟件，將指定的文件中的日誌輸出到logstash 中(他已經有端口在監控並接收來自forwarder客戶端的輸入)
【client傳輸到server的方案】
參考:http://udn.yyuap.com/doc/logstash-best-practice-cn/ecosystem/logstash_forwarder.html
【server端的配置】
1 首先需要創建CA證書爲Server
cd /etc/pki/tls/
openssl req -subj '/CN=www.elk.com/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt
在將logstash-forwarder.crt拷貝到client端
scp certs/logstash-forwarder.crt 192.168.100.13:/etc/pki/tls/certs/
2 server段的logstash.conf的配置
[root@master tls]# cat /usr/local/logstash/etc/logstash.conf
input {
file {
type =>"syslog"
path => ["/var/log/messages", "/var/log/secure" ]
}
lumberjack {
port => 5000
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}
output {
stdout { codec=> rubydebug }
elasticsearch {hosts => "192.168.100.10:9200" }
}
(標黃色的是，這種架構中一定要得配置，解釋一下連個字段)
lumberjack 是 logstash-forwarder 還沒用 Golang 重寫之前的名字
type => "anything" type任意指定，無所謂
3 啓動logstash
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf &
或者使用screen命令一讓其一直在後臺運行
【客戶端的安裝forwarder和配置】
下載軟件
wget https://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm
安裝
yum localinstall logstash-forwarder-0.4.0-1.x86_64.rpm
注意兩個文件
一個配置文件 /etc/logstash-forwarder.conf
一個日誌目錄 /var/log/logstash-forwarder/
保存原始文件
cp /etc/logstash-forwarder.conf /etc/logstash-forwarder.conf.orig
修改logstash-forwarder.conf爲
{
"network": {
"servers": [ "www.elk.com:5000" ],
"ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",
"timeout": 15
},
"files": [
{
"paths": [
"/var/log/messages",
"/var/log/secure"
],
"fields": { "type": "syslog" }
}, {
"paths": [
"其他路徑的文件"
],
"fields": { "type": "nginx" }
}
]
}注意:
servers": [ "www.elk.com:5000" ]
一定要寫域名，不能寫server端的IP，因爲寫IP不能通過證書的認知
"ssl ca" 一定要正確寫明路徑
【驗證】
客戶端執行
[root@slave ~]# echo "我是logstash的客戶端，通過forward到server端的" >> /var/log/secure
查看kibana前端
【接下來研究啥】
1 elk的index
2 多日誌文件
3 logstash中的配置文件詳解