學習思路:
AWK命令行書寫由BEGEN Program END三部分構成
BEGEN:在AWK讀取輸入流文本行處理之前執行,用於初始化變量、定義輸出表頭信息
Program:定義如何處理讀的數據,由兩部分構成:pattern{action statements;..},由模式和動作構成,匹配模式則執行動作。
END在文件逐行處理完成後執行END語句,用於統計結果、生成報告
處理流程:
AWK將處理對象視爲二維表逐行讀取逐行處理,默認以空白符作爲分隔符(可以使用 -F指定分隔符),將文件內容分隔爲多個域(可以理解爲列或字段),一行稱爲一條記錄,每條記錄由多個字段構成。這些行與列被映射成了AWK的內置變量(可以通過-v選項自定義變量),因此用戶就可以通過這些內置變量來定位處理對象中的內容進行處理,簡單理解爲:基於行讀取、基於列進行處理並輸出。
語法:
awk [options] 'program' var=value file…
awk [options] -f programfile var=value file…
awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ...
每個語句塊都有
常用選項
-F "分隔符" 用於指定讀取輸入流文本行中用到的字段分隔符,如果不指則默認以空白符爲分隔符,並自動壓縮連續的多個空白符視爲一個空白符。
-f file 從指定文件中讀取通用語句塊
-v var=value 用於變量賦值
內置變量:
AWK將處理對象視爲二維表逐行讀取,逐行處理,一行爲一條記錄,一列爲個字段,行與列被映射成了AWK的內置變量,所以用戶纔可以像處理二維表格一樣處理數據。因此AWK的常用內置變量也就以行和列的維度就進行定義。
行列維度內置變量: AWK將讀入的文本行以指定分隔符分割爲多個列,分別映射爲內置變量$1,$2,$3...$n,即$1代表第1列,$2代表第2列,以此類推。注意:$0代表所有列,如果語句塊中沒有定義action動作則默認動作爲print $0,即打印所有列。
NF:代表被分隔的字段數,即列數
NR: 一行爲一條記錄,行號
FNR:AWK可以將多個文件作爲輸入流,如果希望每個文件分別輸出獨立的行號則用FNR
FILENAME:AWK可以將多個文件作爲輸入流,如果希望輸出行中輸出文件名則用FILENAME
分隔符:
AWK處理輸入流時可以用-F選項指定分隔符,但一定會滿足用戶的使用需求,例:在打印輸出時,打印輸入時用的分隔符,就需要手動指定很麻煩,AWK同樣想到了用戶的這一需求,提供了分隔符相關的內置變量。AWK的處理流程就是輸入流處理後生成輸出流,所以分隔符也就有了輸入分隔符、輸出分隔符。
記住幾個單詞:F:Field S:Separated O:output R:record
FS:輸入分隔符
OFS:輸出分隔符
RS:輸入記錄分隔符
ORS:輸出記錄分隔符
FNR:各文件分別計數,記錄號
FILENAME:當前文件名
其它變量
ARGC:命令行參數的個數
ARGV:數組,保存的是命令行所給定的各參數
自定義變量
自定義變量一般用於數據輔助處理(如控制語句),報表輸出美化等。自定義變量有兩種定義方式:
- -v選項定義:
- 無事先聲明,直接寫在program語句塊中。
格式化輸出
AWK的強項就是報表輸出功能,printf命令可以對處理後的數據進行格式化輸出,起到美化報表的效果。在格式化輸出過程中要注意以下幾點:
- 必須指定FORMA
- 不會自動換行,需要顯式給出換行控制符\n
- FORMAT中需要分別爲後面每個item指定格式符
格式符
- %c:顯示字符的ASCII碼
- %d, %i:顯示十進制整數
- %e, %E:顯示科學計數法數值
- %f:顯示爲浮點數
- %g, %G:以科學計數法或浮點形式顯示數值
- %s:顯示字符串
- %u:無符號整數
- %%:顯示%自身
修飾符
- #[.#] 第一個數字控制顯示的寬度;第二個#表示小數點後精度,%3.1f
- -左對齊(默認右對齊) %-15s
- +顯示數值的正負符號 %+d
例:
-
指定輸出$1對應的輸出修飾爲左對齊,輸出域寬度爲20個字符,$3輸出域寬度爲10個字符,並換行
awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
-
指定Username:之後輸出$1,格式爲左對齊,輸出域寬度爲15個字符,UID:之後輸出$3
awk -F: '{printf "Username: %-15s,UID:%d\n",$1,$3}' /etc/passwd
AWK中的操作符
1. 算術操作符
注意:算術運行表達式輸寫時變量不需要加$符號引用,直接輸寫
x+y, x-y, x*y, x/y, x^y, x%y
-x:轉換爲負數
+x:將字符串轉換爲數值
2. 賦值操作符
注意:要注意在輸寫自加自減賦值表達式時,i++與++i的區別
=, +=, -=, *=, /=, %=, ^=,++, --
i++ 先賦值,再自加,例在循環語句中i=0,A=i++,則A的結果爲0,i的結果爲1
++i 先自加,再賦值,例在循環語句中i=0,A=++i,則A的結果爲1,i的結果爲1
3. 比較操作符
注意:在應用的時候需要注意==與=的輸寫,有時候疏忽可能會出現書寫錯誤。
==, !=, >, >=, <, <=
例:顯示$3字段等於0的行
[root@Centos8 ~]#awk -F: '$3==0{print $1,$3}' /etc/passwd
4. 模式匹配符
~:左邊是否和右邊匹配,意爲:包含
!~:是否不匹配 意爲:不包含
例:
awk '$1 ~ "^root"' /etc/passwd 文件中第一字段是否包含root
awk '$0 !~ /root/' /etc/passwd 文件不包含root的行
5. 邏輯操作符
與:&& 意爲:並且
或:|| 意爲:或者
非:! 意爲:取反
例:基於UID過濾顯示用戶
awk -F: '$3>=0 && $3 <=500{print $1,$3}' /etc/passwd
awk -F: '$3==0 || $3>=1000 {print $1},$3' /etc/passwd
awk -F: '!($3>=500) {print $1,$3}' /etc/passwd
6.條件表達式(三目表達式)
語法:selector?if-true-expression:if-false-expression
selector:判斷條件
if-true-expression:如果爲真則執行該語句
if-false-expression:如果爲假則爲執行該語句
例:條件賦值
awk -F: '$3>=1000?usertype="common user":usertype="sysuser";prin $1,$3' /etc/passwd
AWK中的模式
從輸入流中讀取行,並基於模式匹配,如果滿足條件則執行相應的處理。
空模式:如果未指定:匹配每一行
正則表達式:/regular expression/:僅處理能夠模式匹配到的行,需要用/ /括起來
關係表達式:結果爲“真”纔會被處理,非0非空即爲真。
行範圍匹配:起始位置,結束位置;/pattern1/,/pattern2/ 不支持直接給出數字格式,pattern可以是正則表達式
BEGIN/END模式:
例:
匹配以root開頭的行到以nobody開頭的行之間的所有行
awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
控制語句
AWK中控制語名輸寫原則:
1. 控制語句通體被大括號{}包裹
2. 判斷條件由小括號()包裹
3. action作爲控制語句了執行語句塊,爲了邏輯清晰建議action由{}包裹
1. if條件判斷
語法1:if與else分體輸寫,用分號分隔:
'{if(condition) {statements;…};else {statements;…}}' if與else用分號分隔,然後整個語塊被{}包裹
例:awk -F: '{if($3>=1000){print "common:",$1} else {print "sysuser:",$1}}' /etc/passwd
語法2:if與else合體輸寫,不用分號分隔
'{if(condition) {statements;…} else {statements;…}}' if與else不用分號分隔,然後整個語塊被{}包裹
例:awk -F: '{if($3>=1000) {print "Common user:",$1} else {print "root or Sysuser:",$1}}' /etc/passwd
語法3:if嵌套
'{if(condition) {statements;…} else if(condition) {statements;…}else {statements;…}}'
'{if(condition) action...;else if(condition) action...;else action...}' if else語句塊之間用分號分隔
例:awk 'BEGIN{test=100;if(test>90){print "very good"} else if(test>60){ print "good"}else{print "no pass"}}'
例:awk 'BEGIN{test=10;if(test>80)print "very Good";else if(test>60)print "Good";else print "no pass"}'
2. for循環
for(expr1;expr2;expr3) {statements;…}
例:awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
3. while循環
語法:while(conditon) {statments;…}
例:awk '/^[[:space:]]linux16/{i=1;while(i<=NF){print $i,length($i); i++}}' /etc/grub2.cfg
例:awk '/^[[:space:]]linux16/{i=1;while(i<=NF){if(length($i)>=10){print $i,length($i)}; i++}}' /etc/grub2.cfg
4. do...while
do...while與while的區別:do...while雁過拔毛不管條件滿不滿足至少執行一次;while在條件不滿足時可以一次都不執行
語法:do {statements;…} while(condition)
例:awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}'