elasticdump

elk日誌數據導出

Skip to end of metadata

• 
  

Go to start of metadata

elk原始日誌存放要求

原始日誌存放路徑：/data/es/elasticsearch/nodes/0/indices

原始日誌名稱格式：logstash-type-20xx.xx.xx （ 其中type爲日誌的類型，如nginx）

日誌數據導出的要求

li'y

日誌數據導出後存放路徑：/data/elkdata

日誌數據導出格式：統一使用json

日誌數據導出規則：contab任務在每天凌晨10分，將昨天一天內完整的elk原始日誌通過匹配日誌類型，利用elasticdump工具新生成的json格式的日誌數據，導出到/data/elkdata下

生成後的日誌名稱舉例：logstash-nginx-2016.07.06.json

導出腳本部分內容

/usr/bin/elasticdump  

--input=http://x.x.x.x:9200/logstash-nginx-$(date -d last-day +%Y.%m.%d)  

--output=/data/elkdata/logstash-nginx-$(date -d last-day +%Y.%m.%d).json  

--type=data