awk簡介
awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤爲強大。簡單來說awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各種分析處理。
awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有自己的語言： AWK 程序設計語言 ， 三位創建者已將它正式定義爲“樣式掃描和處理語言”。它允許您創建簡短的程序，這些程序讀取輸入文件、爲數據排序、處理數據、對輸入執行計算以及生成報表，還有無數其他的功能。
awk有3個不同版本: awk、nawk和gawk，未作特別說明，一般指gawk，gawk 是 AWK 的 GNU 版本。
基本語法
awk [option]... 'script' FILE...
awk [option]... '/PATTERN/{action}' FILE...
awk 'BEGIN{FS=":"}{print $1,$7}' FILE...
選項描述
-F FS #指定描述一行中的數據字段的文件分隔符
-f awk_script #指定讀取程序的文件名，可指定載入腳本
-v VAR_VALUE #定義awk程序中使用的變量和默認值
輸出動作介紹
1、print
print的使用格式：print item1， item2, ...
要點：
（1）、各項目之間使用逗號隔開，而輸出時則以空白字符分隔；
（2）、輸出的item可以爲字符串或數值、當前記錄的字段(如$1)、變量或awk的表達式；數值會先轉換爲字符串，而後再輸出；
（3）、print命令後面的item可以省略，此時其功能相當於print $0, 因此，如果想輸出空白行，則需要使用print""；
2、printf
printf命令的使用格式：printf format, item1, item2,...
要點：
（1）、其與print命令的最大不同是，printf需要指定format；
（2）、format用於指定後面的每個item的輸出格式；
（3）、printf語句不會自動打印換行符；\n
其中format格式的指示符都以%開頭，後跟一個字符；如下：
%c: 顯示字符的ASCII碼；
%d, %i：十進制整數；
%e, %E：科學計數法顯示數值；
%f: 顯示浮點數；
%g, %G: 以科學計數法的格式或浮點數的格式顯示數值；
%s: 顯示字符串；
%u: 無符號整數；
%%: 顯示%自身；
在輸出格式上常用修飾符：
N: 顯示寬度；
-: 左對齊（默認爲右對齊）；
+：顯示數值符號；
awk內置變量
FS：Field Seperator, 輸入時的字段分隔符
# awk 'BEGIN{FS=":"}{print $1,$7}' /etc/passwd
RS：Record Seperator, 輸出行分隔符
OFS: Output Field Seperator, 輸出時的字段分隔符;
ORS: Outpput Row Seperator, 輸出時的行分隔符；
NF：Numbers of Field，字段數
NR：Numbers of Record, 行數；所有文件的一併計數；
FNR：行數；各文件分別計數；
ARGV：數組，保存命令本身這個字符，
awk '{print $0}' 1.txt 2.txt，意味着ARGV[0]保存awk,
ARGC: 保存awk命令中參數的個數；
FILENAME： awk正在處理的當前文件的名稱
awk輸出重定向
print items > output-file
print items >> output-file
print items | command
特殊文件描述符：
/dev/stdin: 標準輸入
/dev/stdout: 標準輸出
/dev/stderr: 錯誤輸出
awk的操作符
x-y x減y
x*y x乘y
x/y x除y
-y 負y(y的開關符號);也稱一目減
++y y加1後使用y(前置加）
y++ 使用y值後加1（後綴加）
--y y減1後使用y(前置減）
y-- 使用後y減1(後綴減）
x=y 將y的值賦給x
x+=y 將x+y的值賦給x
x-=y 將x-y的值賦給x
x*=y 將x*y的值賦給x
x/=y 將x/y的值賦給x
x%=y 將x%y的值賦給x
x^=y 將x^y的值賦給x
x**=y 將x**y的值賦給x
awk允許的測試
操作符 含義
x==y x等於y
x!=y x不等於y
x>y x大於y
x>=y x大於或等於y
x<y x小於y
x<=y x小於或等於y?
x~re x匹配正則表達式re?
x!~re x不匹配正則表達式re?
awk的操作符(按優先級升序排列)
= 、+=、 -=、 *= 、/= 、 %=
||
&&
> >= < <= == != ~ !~
xy (字符串連結，'x'y'變成"xy"）
+ -
* / %
++
--
模式
(1) Regexp: 格式爲/PATTERN/
僅處理被/PATTERN/匹配到的行；
(2) Expression: 表達式，其結果爲非0或非空字符串時滿足條件；
僅處理滿足條件的行；
(3) Ranges: 行範圍，此前地址定界，startline, endline
僅處理範圍內的行
(4) BEGIN/END: 特殊模式，僅在awk命令的program運行之前（BEGIN）或運行之後（END）執行一次；
(5) Empty:空模式，匹配任意行
控制語句
if-else
格式：if (condition) {then body} else {else body}
# awk -F: '{if ($3>=500) {print $1,"is a common user"} else {print $1, "is an admin or system user"}}' /etc/passwd
# awk '{if (NF>=8) {print}}' /etc/inittab
while
格式：while (condition) {while body}
# awk '{i=1; while (i<=NF){printf "%s ",$i;i+=2};print ""}' /etc/inittab
# awk '{i=1; while (i<=NF){if (length($i)>=6) {print $i}; i++}}' /etc/inittab
length()函數：取字符串的長度
do-while循環
格式：do {do-while body} while (condition)
for循環
格式：for (variable assignment; condition; iteration process) {for body}
# awk '{for (i=1;i<=NF;i+=2){printf "%s ",$i};print ""}' /etc/inittab
# awk '{for (i=1;i<=NF;i++){if (length($i)>=6) print $i}}' /etc/inittab
for循環可用來遍歷數組元素：
語法：for (i in array) {for body}
case語句
語法：switch (expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}
循環控制
break
continue
next
提前結束對本行的處理進而進入下一行的處理；
# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd
# awk -F: '{if(NR%2==0) next; print NR,$1}' /etc/passwd
數組
關聯數組：
array[index-expression]
index-expression: 可以使用任意字符串; 如果某數組元素事先不存在，那麼在引用時，awk會自動創建此元素並將其初始化爲空串；因此，要判斷某數組是否存在某元素，必須使用“index in array”這種格式；
A[first]="hello awk"
print A[second]
要遍歷數組中的每一個元素，需要使用如下特殊結構
for (var in array) {for body}
其var會遍歷array的索引
state[LISTEN]++
state[ESTABLISHED]++
# netstat -tan | awk '/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}'
# awk '{ip[$1]++}END{for (i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
刪除數組元素
delete array[index]
# awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test
split
split函數可按給定的分隔符把字符串分割爲一個數組。如果分隔符沒提供，則按當前FS值進行分割
split( string, array, field separator )
split( string, array )
# netstat -tn | awk '/^tcp/{lens=split($5,client,":");ip[client[lens-1]]++}END{for (i in ip) print i,ip[i]}'長
常用例子
轉載互聯網
1.查看TCP連接狀態
netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -rn
netstat -n | awk ‘/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}’ 或
netstat -n | awk ‘/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}’
netstat -n | awk ‘/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"t",arr[k]}’
netstat -n |awk ‘/^tcp/ {print $NF}’|sort|uniq -c|sort -rn
netstat -ant | awk ‘{print $NF}’ | grep -v ‘[a-z]‘ | sort | uniq -c
2.查找請求數請20個IP（常用於查找攻來源）：
netstat -anlp|grep 80|grep tcp|awk ‘{print $5}’|awk -F: ‘{print $1}’|sort|uniq -c|sort -nr|head -n20
netstat -ant |awk ‘/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}’ |sort -rn|head -n20
3.用tcpdump嗅探80端口的訪問看看誰最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." ‘{print $1"."$2"."$3"."$4}’ | sort | uniq -c | sort -nr |head -20
4.查找較多time_wait連接
netstat -n|grep TIME_WAIT|awk ‘{print $5}’|sort|uniq -c|sort -rn|head -n20
5.找查較多的SYN連接
netstat -an | grep SYN | awk ‘{print $5}’ | awk -F: ‘{print $1}’ | sort | uniq -c | sort -nr | more
6.根據端口列進程
netstat -ntlp | grep 80 | awk ‘{print $7}’ | cut -d/ -f1
網站日誌分析篇1（Apache）：
1.獲得訪問前10位的ip地址
cat access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10
cat access.log|awk ‘{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}’
2.訪問次數最多的文件或頁面,取前20
cat access.log|awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20
3.列出傳輸最大的幾個exe文件（分析下載站的時候常用）
cat access.log |awk ‘($7~/.exe/){print $10 " " $1 " " $4 " " $7}’|sort -nr|head -20
4.列出輸出大於200000byte(約200kb)的exe文件以及對應文件發生次數
cat access.log |awk ‘($10 > 200000 && $7~/.exe/){print $7}’|sort -n|uniq -c|sort -nr|head -100
5.如果日誌最後一列記錄的是頁面文件傳輸時間，則有列出到客戶端最耗時的頁面
cat access.log |awk ‘($7~/.php/){print $NF " " $1 " " $4 " " $7}’|sort -nr|head -100
6.列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數
cat access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100
7.列出傳輸時間超過 30 秒的文件
cat access.log |awk ‘($NF > 30){print $7}’|sort -n|uniq -c|sort -nr|head -20
8.統計網站流量（G)
cat access.log |awk ‘{sum+=$10} END {print sum/1024/1024/1024}’
9.統計404的連接
awk ‘($9 ~/404/)’ access.log | awk ‘{print $9,$7}’ | sort
10. 統計http status
cat access.log |awk ‘{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'
cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn
本文出自 “斷了的***” 博客，請務必保留此出處http://90sec.blog.51cto.com/7404127/1543949