mysql批量導入日誌的方法：load data命令

load命令

load data infile 語句從一個文本文件中以很高的速度讀入一個表中。使用這個命令之前，mysqld進程（服務）必須已經在運行。由於安全原因，當讀取位於服務器上的文件時，文件必須處於數據庫目錄或可被所有人讀取。另外，爲了對服務器上文件使用load data infile，在服務器主機上必須有file的權限。

基本語法：

load data  [low_priority] [local] infile 'file_name.csv' [replace | ignore]
　　into table tab_name
　　[fields
　　		[terminated by ',' ]  #字段分隔符
　　		[OPTIONALLY] enclosed by '"' ]
　　		[escaped by '\' ]
　　    ]
　　[lines
　　    [starting by 'string']
　　    [terminated by '\n'] #換行符
　　    ]
　　[ignore number lines] #如：可以使用ignore 1 lines來跳過一個包含列名稱的起始標題行
　　[(col_name1,col_name2,)] #導入到數據表的對應字段名
　　

參數說明：

文件路徑
1.如果指定了local，則文件會被客戶主機上的客戶端讀取，並被髮送到服務器。文件會被給予一個完整的路徑名稱，以指定確切的位置。如果給定的是一個相對的路徑名稱，則此名稱會被理解爲相對於啓動客戶端時所在的目錄。
如將客戶端上的/data/file_name.log導入到mysql服務端上：

load data local infile "/data/file_name.log" into table dbname.tabname;

2.如果LOCAL沒有被指定，則文件必須位於服務器主機上，並且被服務器直接讀取。

low_priority
如果指定關鍵詞low_priority，那麼MySQL將會等到沒有其他人讀這個表的時候，才把數據插入。如下的命令：

load data low_priority infile "file_name.logl" into table test;

replace和ignore
replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace，新行將代替有相同的唯一鍵值的現有行。如果你指定ignore，跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項，當找到重複鍵時，出現一個錯誤，並且文本文件的餘下部分被忽略。
例如：

load data low_priority infile "file_name.log" replace into table test;

fields
fields關鍵字指定了文件字段的分割格式，如果用到這個關鍵字，MySQL剖析器希望看到至少有下面的一個選項：

terminated by 分隔符 描述字段的分隔符，默認情況下是tab字符（\t） 
enclosed by 字段擴起符號 描述的是字段的括起字符。
escaped by 描述的轉義字符。默認的是反斜槓（backslash：\ ）  

例如：

load data local infile "/data/file_name.log" into table dbname.tabname fields terminated by',' enclosed by '"';

lines
1.terminated 關鍵字指定了每條記錄的分隔符默認爲 ‘\n’ 即爲換行符
例如：

load data local infile "/data/file_name.log" into table dbname.tabname fields terminated by',' enclosed by '"' lines terminated by '\n';

2.starting關鍵字
如果所有您希望讀入的行都含有一個您希望忽略的共用前綴，則您可以使用 ‘prefix_string’ 來跳過前綴（和前綴前的字符）。如果某行不包括前綴，則整個行被跳過。注：prefix_string 會出現在一行的中間。

以下面的test.txt文件爲例：

xxx"row",1
something xxx"row",2

load data local infile "test.txt" into table test fields terminated by ','  lines starting by 'xxx'

最後得到數據爲 (“row”,1)和(“row”,2)

示例：用shell腳本實現將日誌文件導入數據庫

dblog_import.sh

#!/bin/bash

#數據庫日誌文件名時間:日誌文件每小時生成一個
dblog_date=$(date -d "1 hours ago" +"%m%d%H")

#數據庫日誌文件名格式：/data/output_logs/dblog/db062510.log
dblog_file=/data/dblog/db${dbvpn_date}.log

#程序運行日誌文件
logfile=/data/scrips/data_import_sql.log
echo -e "\n$(date +'%Y-%m-%d %H:%M:%S')" >> ${logfile}

#數據庫信息：
HOSTNAME="192.168.149.128"
PORT="3306"
USERNAME="root"
PASSWORD="123456"
DBNAME="test"  #數據庫名稱

#日誌導入指令
dblog_insert="load data local infile '${dblog_file}' into table ri_dbaudit fields terminated BY ',' enclosed  BY '\"' lines terminated by '\n' (logtime,dst_ip,src_ip,action,tabname,dbname,port,otype,status,dbuser);"

#數據庫日誌導入
if [ -f ${dblog_file} -a -s ${dblog_file} ] ;then 
    mysql -h${HOSTNAME} -P${PORT} -u${USERNAME} -p${PASSWORD} ${DBNAME} -e "${dblog_insert}" 
    echo "${dblog_file} import success" >> ${logfile} 
    find "${dblog_file}" -delete #導完後刪除日誌文件
else 
    echo "Error: ${dblog_file} not exist" >> ${logfile}
fi

任務計劃：每小時10分執行程序

10 * * * * sh /data/scrips/dblog_import.sh >> /data/scrips/data_import_sql.log 2>&1