文章轉載：http://www.jianshu.com/p/797073c1913f
僅用作個人學習，收藏
我的
ELK
搭建筆記（基於阿里雲）
“不是最好的，但一定是有良心的操作記錄。”目錄一覽
0 重不重要都得有的開頭
1 安裝配置
1.1 CentOS 7.x環境準備
1.1.1 安裝操作系統
1.1.2 更新系統軟件包（可選）
1.1.3 更改主機名（可選）
1.1.4 創建應用賬號（必選）
1.1.5 安裝Java運行環境（可選）
1.2 ELK安裝
1.2.1 安裝ElasticSearch with x-pack
1.2.2 Trouble shooting for elasticsearch
1.2.3 安裝Logstash
1.2.4 Trouble Shooting for Logstash
1.2.5 安裝Kibana with x-pack
1.2.6 Kibana界面日誌檢索
2 最佳實踐
2.1 Logstash & JDBC
2.1.1 安裝jdbc-input插件
2.1.2 下載jdbc-mysql連接驅動
2.1.3 配置jdbc日誌收集參數
2.1.4 啓動Logstash連接數據庫收集日誌
2.2 Kibana相關
2.2.1 獲取指定索引下指定類型日誌的映射表
2.2.2 修改數據類型映射mappings
2.2.3 判斷字段是否存在
3 參考資料
0重不重要都得有的開頭
下面一段摘抄自互聯網 http://baidu.blog.51cto.com/71938/1676798ELK平臺是當前應用比較廣泛的一套開源實時日誌分析解決方案。ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站： https://www.elastic.co/products
Elasticsearch是個開源分佈式搜索引擎，它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash是一個完全開源的工具，他可以對你的日誌進行收集、過濾，並將其存儲供以後使用（如，搜索）。
Kibana 也是一個開源和免費的工具，Kibana可以爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助您彙總、分析和搜索重要數據日誌。
1安裝配置
1.1 CentOS 7.x環境準備
1.1.1 安裝操作系統以阿里雲
ECS
主機爲例，
安裝系統時選擇
CentOS 7.2 64
位版本。
1.1.2 更新系統軟件包（可選）[root@elk-test ~]# yum update1.1.3 更改主機名（可選）[root@iZ2ze1filcblgjr9dcoxioZ ~]# hostnameelk-test[root@iZ2ze1filcblgjr9dcoxioZ ~]# hostname# elk-test[root@elk-test ~]# 1.1.4 創建應用賬號（必選）以應用賬號身份啓動
ElasticSearch、
Logstash和
Kibana[root@elk-test ~]# useradd elk-test1.1.5 安裝Java運行環境（可選）下載
JRE安裝包
，並上傳到服務器
root
用戶目錄
以
root身份安裝
JRE：
yum localinstall jre-8u121-linux-x64.rpm
配置
Java環境變量：
編輯文件
/etc/profile
在文件末尾增加如下內容
驗證
Java環境，
執行命令
java -version查看
Java版本信息，
如果一切正常的話，能看到如下信息：
java version 1.8.0_121Java（TM） SE Runtime Environment （build 1.8.0_121-b13）Java HotSpot（TM） 64-Bit Server VM （build 25.121-b13, mixed mode）
如有需要，也可
下載
Server JRE手工安裝。
**1.2 ELK安裝
1.2.1 安裝ElasticSearch with x-pac執行命令
su - elk-test切換到應用賬戶
elk-test，下載和安裝
ElasticSearch和
x-pack安全組件。如果你不需要安全認證，
x-pack組件可以不用安裝，相應的配置參數也不必設置。
根據需要，修改文件
ElasticSearch目錄下
config/jvm.options文件，調整
jvm內存參數。
修改監聽端口，允許外部系統遠程訪問：
編輯文件
config/elasticsearch.yml
修改參數
network.host的數值
啓動
ElasticSearch[elk-test@elk-test elasticsearch-5.0.0]$bin/elasticsearch
驗證
ElasticSearch服務，執行命令：
curl http://elastic:[email protected]:9200
期待返回內容如下：
1.2.2 Tr**ouble shooting for elasticsearch**max file descriptors
- max file descriptors [65535] forelasticsearch process likely too low, increase to at least [65536]
- 修改文件
- /etc/security/limits.conf，末尾增加如下內容
- soft nofile 65536 hard nofile 65536max virtual memory
max virtual memory areas vm.max_map_count[65530] likely too low, increase to at least [262144]
修改文件
/etc/sysctl.conf
設置參數
vm.max_map_count= 262144
執行命令
sysctl -p
完成以上步驟，重新
su - elk-test
再來啓動
ElasticSearch
。
1.2.3 安裝Logstash下載
Logstash
測試一段
syslog日誌文本。在
logstash主目錄創建配置文件
sample.conf，內容如下
執行命令
bing/logstsh -f sample.comf
，啓動
Logstash。
**啓動後，輸入以下內容：
Jan 19 12:28:31 elk-test sshd[13990]:pam_unix（sshd:auth）: authentication failure; logname= uid=0 euid=0 tty=sshruser= rhost=92.246.190.31 user=root
可以看到
Logstash在
Console返回的輸出內容，同時以上內容也發送到了
ElasticSearch。
1.2.4 Trouble Shooting for Logstash**爲什麼Logstash啓動特別緩慢？
原因可能是
JVM的隨機數字生成參數導致，診斷和修改方式：
修改文件
$JAVA_HOME/jre/lib/security/java.security
設置參數
securerandom.source=file:/dev/urandom
重新啓動
Logstash，是不是快多了？
爲什麼要這麼做，我已經幫你搜好了，請參考以下文檔：
StackOverflow-Logstashstartup time #5491 -
Orace官方
-Avoiding JVM Delays Caused byRandom Number Generation
1.2.5 安裝Kibana with x-pack**執行命令
su - elk-test切換到應用賬戶
elk-test，下載和安裝
Kibana和
x-pack安全組件。
設置
Kibaba對外開放的
IP和
ElasticSearch的
url編輯文件
config/kibana.yml
設置參數
server.host和
elasticsearch.url
啓動
Kibana[[email protected]_64]$ bin/kibana**
訪問
Kibanna，驗證服務，用戶名
/密碼：
elastic/changeme
看到如下界面，即表示成功，稍後再來配置。
1.2.6 Kibana界面日誌檢索只有當第一條日誌通過
Logstash進入
ElasticSearch後，才能配置
Kibana索引
pattern。
操作方法是：進入
Kibana設置界面，點擊
Create按鈕。
其中
Index Pattern名稱必須與
Logstash中
output參數設置的一致。如果
output參數沒有設置，則默認爲
logstash-*
**如果你的日誌中有特定的時間字段，這裏可以單獨設置。 如果
Logstash的
output中已經配置了
index的名稱，則必須在新的日誌進入
ElasticSearch後，才能在
Kibana上創建新的
index pattern。進入
Kibana的
Dashboard，搜索日誌，認真體驗。
**
2最佳實踐
2.1 Logstash & JDBC**2.1.1 安裝jdbc-input插件**進入
Logstash目錄，執行命令
bin/logstash-plugin install logstash-input-jdbc安裝
JDBC輸入插件。
2.1.2 下載jdbc-mysql連接驅動訪問
MySQL網站，
https://dev.mysql.com/downloads/connector/j/，下載
mysql-connector-java-5.1.40，或執行命令下載。
2.1.3 配置jdbc日誌收集參數創建文件
jdbc-login-logs-logstash.conf，並設置
Logstash每隔
5分鐘（
/5 ）連接一次數據庫，將新增的日誌發送到
ElasticSearch服務器。
2.1.4 啓動Logstash連接數據庫收集日誌*執行命令
bin/logstash -f jdbc-login-logs-logstash.conf
2.2 Kibana相關
2.2.1 獲取指定索引下指定類型日誌的映射表Kibana主界面左側，點擊開發工具按鈕。
進入
Console界面，執行如下命令：
GET logstash-nginx/_mappings/alm注意：替換
alm字符串爲你自己的日誌類型（來自
Logstash的
output參數）
返回如下：
2.2.2 修改數據類型映射mappings已經創建的
mappings是不能直接修改的。通常是刪除後再創建一個新的修改後的
mappings版本。參考文檔
:ChangingMapping with Zero Downtime2.2.3 判斷字段是否存在搜索執行 exists:field_name，如： exists:login_ip3參考資料
折騰過程中，得到了以下參考資料的幫助，一併感謝！ Elastic中文社區
官方網站
ELK 部署指南
分佈式日誌收集之
Logstash 筆記（一）
Elasticsearch 權威指南（中文版）
初探
ELK-logstash使用小結
logstash服務啓動腳本
ELK安裝配置之集羣相關介紹及搭建
ELK日誌管理之
——logstash部署
How to Delete Data from Elasticsearch
Experiments with Kibana Timelion
Geo數據類型問題
以上內容只是最基礎的
Hello World版本
ELK部署說明，還不涉及到集羣、分佈式收集、
grok高級技巧等。關於複雜場景下的
ELK部署和應用，等我功力提升後再來分享啦！
爲解決文中部分圖片不夠清晰問題，您也可以通過以下鏈接查看原文（高清）內容：
https://pan.baidu.com/s/1nv15BWt
https://bbs.ichunqiu.com/thread-19741-1-2.html
作者：創Chen
鏈接：http://www.jianshu.com/p/797073c1913f
來源：簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。