一、簡介
1、核心組成
ELK由Elasticsearch、Logstash和Kibana三部分組件組成；
Elasticsearch是個開源分佈式搜索引擎，它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash是一個完全開源的工具，它可以對你的日誌進行收集、分析，並將其存儲供以後使用
Kibana是一個基於瀏覽器頁面的Elasticsearch前端展示工具。Kibana全部使用HTML語言和Javascript編寫的
2、組件作用
Logstash: logstash server端用來蒐集日誌；
Elasticsearch: 存儲各類日誌；
Kibana: web化接口用於查詢和可視化日誌；
3、ELK工作流程
在需要收集日誌的所有服務上部署logstash，作爲logstash agent（logstash shipper）用於監控並過濾收集日誌，然後通過logstash indexer將日誌收集在一起交給全文搜索服務ElasticSearch，可以用ElasticSearch進行自定義搜索通過Kibana 來結合自定義搜索進行頁面展示。
二、下載所需軟件
wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
三、安裝步驟
1、首先安裝jdk
安裝jdk-8u45-linux-x64
root身份登錄系統 將jdk-8u45-linux-x64.tar.gz拷貝到/opt下面
cd /opt
tar zxvf jdk-8u45-linux-x64.tar.gz
解壓後 生成的文件名字叫做jdk-8u45
vim /etc/profile
把如下代碼放到文件的最後面
export JAVA_HOME=/opt/jdk-8u45
export JAVA_BIN=/opt/jdk-8u45/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JAVA_BIN PATH CLASSPATH
source /etc/profile
2、安裝Logstash
tar –zxf logstash-1.5.2.tar.gz -C /usr/local/
安裝完成後運行如下命令：
/usr/local/logstash-1.5.2/bin/logstash agent -f logstash-test1.conf
# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
this is test!
2015-07-15T03:28:56.938Z dell-09 this is test!
我們可以看到，我們輸入什麼內容logstash按照某種格式輸出，其中-e參數參數允許Logstash直接通過命令行接受設置。這點尤其快速的幫助我們反覆的測試配置是否正確而不用寫配置文件。使用CTRL-C命令可以退出之前運行的Logstash。
使用-e參數在命令行中指定配置是很常用的方式，不過如果需要配置更多設置則需要很長的內容。這種情況，我們首先創建一個簡單的配置文件，並且指定logstash使用這個配置文件。例如：在logstash安裝目錄(/usr/local/logstash-1.5.2)下創建一個“基本配置”測試文件logstash-test.conf，文件內容如下：
# cat logstash-test.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
}
Logstash使用input和output定義收集日誌時的輸入和輸出的相關配置，本例中input定義了一個叫"stdin"的input，output定義一個叫"stdout"的output。無論我們輸入什麼字符，Logstash都會按照某種格式來返回我們輸入的字符，其中output被定義爲"stdout"並使用了codec參數來指定logstash輸出格式。
3、安裝Elasticsearch
# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
啓動Elasticsearch兩種方式：
# /usr/local/elasticsearch-1.6.0/bin/elasticsearch
# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup & 後臺啓動
驗證及確認elasticsearch的9200端口已監聽，說明elasticsearch已成功運行
[root@dell-09 tmp]# ss -tunpl |grep 9200
tcp LISTEN 0 50 :::9200 :::* users:(("java",16633,99))
接下來我們在logstash安裝目錄下創建一個用於測試logstash使用elasticsearch作爲logstash的後端的測試文件logstash-test.conf，該文件中定義了stdout和elasticsearch作爲output，這樣的“多重輸出”即保證輸出結果顯示到屏幕上，同時也輸出到elastisearch中。
cat logstash-test-simple.conf
/usr/local/logstash-1.5.2/bin/logstash agent -f logstash-test-simple.conf
Logstash startup completed
es logstash #手動添加
{
"message" => "es logstash",
"@version" => "1",
"@timestamp" => "2016-12-06T01:58:49.672Z",
"host" => "dell-09"
}
驗證
使用curl命令發送請求來查看ES是否接收到了數據：
curl 'http://localhost:9200/_search?pretty'
如果看到上圖內容說明已經可以用Elasticsearch和Logstash來收集日誌數據了。
4、安裝elasticsearch插件
Elasticsearch-kopf插件可以查詢Elasticsearch中的數據，安裝elasticsearch-kopf，只要在你安裝Elasticsearch的目錄中執行以下命令即可：
# cd /usr/local/elasticsearch-1.7.2/bin
# ./plugin -install lmenezes/elasticsearch-kopf
訪問kopf:
http://10.193.1.86:9200/_plugin/kopf/#!/nodes
5、安裝Kibana
# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
啓動kibana
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana
如圖：
note：
碎碎念：
①單機的elk到這基本已經完成了，主要部署思路還是在需要收集日誌的所有服務上部署logstash，作爲logstash agent（logstash shipper）用於監控並過濾收集日誌，然後logstash indexer將日誌收集在一起交給全文搜索服務ElasticSearch，可以用ElasticSearch進行自定義搜索通過Kibana 來結合自定義搜索進行頁面展示。
②如果生產服務器過多，有很多日誌處理的話建議用zookeeper+kafka+elk
……