shell腳本批量獲取遠程服務器多個項目的日誌

shell批量獲取日誌

最近日誌比較多, 而且壓縮了日誌, 並沒有上ELK. 臨時需要來獲取項目的運行日誌, 並且解壓呈現出來.

***1. 需求環境

1. apache/nginx 並且指定一個本地服務器的log服務作爲web服務對外的路徑.
   這裏我用的本地的/home/www/log/

2. shell運行環境. 我用的debian

***2. 腳本如下

需要獲取三個目錄的日誌, 因爲現在日誌命名問題, 所以取了三個數組來循環.
提供最近3天的log獲取和全量日誌獲取.
使用了scp來同步日誌.

#!/bin/bash
set -e
declare -a log_proj1 log_work log_proj2
proj_name="proj1 proj2 proj3"
bak_dir="/home/www/logs/"

file_tailer='.log.gz'
d0_date=`date +%F`.log.`date +%Y%m%d`
d1_date=`date +%F`.log.`date +%Y%m%d`
d2_date=`date -d -1day +%F`.log.`date -d -1day +%Y%m%d`
d3_date=`date -d -2day +%F`.log.`date -d -2day +%Y%m%d`
d4_date=`date -d -3day +%F`.log.`date -d -3day +%Y%m%d`

# proj1
log_proj1[1]='main-'${d0_date}.*
log_proj1[2]='main-'${d1_date}_*${file_tailer}
log_proj1[3]='main-'${d2_date}_*${file_tailer}
log_proj1[4]='main-'${d3_date}_*${file_tailer}
log_proj1[5]='main-'${d4_date}_*${file_tailer}

# proj2
log_proj2[1]='console-'${d0_date}.*
log_proj2[2]='console-'${d1_date}_*${file_tailer}
log_proj2[3]='console-'${d2_date}_*${file_tailer}
log_proj2[4]='console-'${d3_date}_*${file_tailer}
log_proj2[5]='console-'${d4_date}_*${file_tailer}

# proj3
log_proj3[1]='console-'${d0_date}.*
log_proj3[2]='console-'${d1_date}_*${file_tailer}
log_proj3[3]='console-'${d2_date}_*${file_tailer}
log_proj3[4]='console-'${d3_date}_*${file_tailer}
log_proj3[5]='console-'${d4_date}_*${file_tailer}

sync_3_day_log() {
    for i in ${proj_name}
    do
        if [ ! -d "$bak_dir$i" ];
        then
            mkdir "$bak_dir$i"
        fi
        logs="log_"${i}"[@]"
        for log in ${!logs}
        do
            scp -P2222 user@123.456.789.10:/logs/project/${i}/$log $bak_dir > /dev/null 2>&1
            full_log=$bak_dir$i/$log
            if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
            then
                gzip -d $full_log
            fi
        done
    done
    echo 'Sync done'
}

sync_all_log() {
    for i in ${proj_name}
    do
        if [ ! -d "$bak_dir$i" ];
        then
            mkdir "$bak_dir$i"
        fi
        scp -r -P1022 user@123.456.789.10:/logs/project/${i}/ $bak_dir > /dev/null 2>&1
        echo "All "$i" log sync done!\n";
        for log in `ls -la $bak_dir$i | awk '{print $9}'`
        do
            full_log=$bak_dir$i/$log
            if [ ${full_log##*.} = "gz" ] > /dev/null 2>&1;
            then
                gzip -d $full_log
            fi
        done

    done
    echo 'Sync done'

}

#sync_3_day_log
sync_all_log