Elasticsearch系列（二）—elk介紹，安裝和配置

ELK 介紹

• ELK是什麼：log grep awk tail -nf |grep ，普通查詢日誌：量大，檢索慢，歷史數據，不安全
• ELK優勢
  • 日誌統一收集，分佈式收集，提供查詢界面
• ELK應用場景：日誌管理，

ELK架構設計

• 基礎架構（解決50G以下日誌）

  • elasticsearch:提供查詢，全文檢索
  • kibana:頁面展示，以及方便查詢
  • logstash:收集日誌

• 個性化設計

  • filebeat:輕量級收集日誌，速度快，配合logstash做過濾
  • kafka:日誌緩衝，減少logstash日誌過大，導致es慢

• es配置：日誌分配，一片數據不要超過10G （8G內存，8CPU，500G）

ELK環境搭建

• es安裝

  • 修改
  • 啓動：./elasticsearch -d

• 安裝kibana

  • 配置索引
  • bin/kibana &

• es集羣配置文件

cluster.name: my-es
node.name: node-01
node.master: true
node.data: true
bootstrap.system_call_filter: false
network.host: 192.168.100.11
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.100.11","192.168.100.11:8300","192.168.100.11:7300"]
#discovery.zen.ping.multicast.enabled: true
discovery.zen.minimum_master_nodes: 2
## 支持插件跨域問題
http.cors.enabled: true
http.cors.allow-origin: "*"
#配置避免容災出現
gateway.recover_after_nodes: 3
gateway.expected_nodes: 3
gateway.recover_after_time: 10m 
#初始化啓動有效，超時時間從上一個配置中配置的N個節點啓動後算起
discovery.zen.fd.ping_timeout: 5s