定期刪除elasticsearch集羣10天以上的索引

背景
需要定期清理的索引的後綴日期格式爲YYYY.MM.DD,如:project-index-2017.10.01

思路
通過_cat/indices接口可以獲取當前ES全部索引信息,取第三列爲索引名。過濾出索引名中帶有的日期字符串,然後進行日期比較,早於10天前的日期便可通過日期模糊匹配索引來刪除。

完整的腳本如下:

#!/bin/bash

###################################
#刪除早於十天的ES集羣的索引
###################################
function delete_indices() {
    comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
    date1="$1 00:00:00"
    date2="$comp_date 00:00:00"

    t1=`date -d "$date1" +%s` 
    t2=`date -d "$date2" +%s` 

    if [ $t1 -le $t2 ]; then
        echo "$1時間早於$comp_date,進行索引刪除"
        #轉換一下格式,將類似2017-10-01格式轉化爲2017.10.01
        format_date=`echo $1| sed 's/-/\./g'`
        curl -XDELETE http://es-cluster-ip:9200/*$format_date
    fi
}

curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
do
    #調用索引刪除函數
    delete_indices $LINE
done

將腳本配置到定時任務定期執行即可。

發佈了101 篇原創文章 · 獲贊 48 · 訪問量 41萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章