一、Linux文本處理三劍客:
grep: 文本過濾工具;
sed:文本編輯器(行);stream editor
awk:文本報告生成器;Linux上awk的實現爲gawk
grep: Global search REgular expression and Print out the line.
作用:文本搜索工具,根據用戶指定的“模式(pattern)”逐行去搜索目標文本,打印匹配到的行;
二、 模式:由正則表達式的元字符及文本字符所編寫的過濾條件;
元字符:字符不表示其字面意義,而用於表示通配或控制功能;
分兩類:
基本正則表達式:BRE
擴展正則表達式:ERE
正則表達式引擎;
三、grep [OPTIONS] PATTERN [FILE...]:
選項:
--color=auto:對匹配到的串做高亮顯示;
-v:顯示模式匹配不到行;
-i: 忽略字符大小寫;
-o: 僅顯示能夠被模式匹配到的串本行;
-q: 靜默模式;
-E:使用擴展的正則表達式;
基本正則表達式的元字符:
字符匹配:
.: 匹配任意單個字符;
[]:匹配指定範圍內的任意單個字符;
[^]:匹配指定範圍內的任意單個字符;
[:lower:] 匹配小寫字母
[:upper:] 匹配大寫字母
[:alpha] 匹配所有字母
[:digit:] 匹配所有數字
[:alnum:] 匹配所有數字字母 [:alpha:]和[:alpha:]和二爲一
[:space] 代表空格字符 例如:tab,換行,空格之類
[:punct:] 代表標點符號 例如:'! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ ] ^ _ ' { | }
次數匹配:用於要指定其次數的字符的後面;
*: 任意次;
abxy
xay
xxxxxxxy
grep "x*y"
\?:0或1次;
grep "x\?y"
\+:1或多次;
\{m\}:精確限制爲m次;
\{m,n\}: 至少m次,至多n次,[m,n]
\{0,n\}:至多n次;
\{m,\}:至少m次;
.*: 匹配任意長度的任意字符;
位置錨定:
^: 行首錨定;用於模式的最左側;
$: 行尾錨定;用於模式的最右側;
\<, \b: 詞首錨定;用於表示單詞的模式的左側;
\>, \b:詞尾錨定;用於表示單詞的模式的右側;
^$: 空白行;
分組:\(\)
分組的小括號中的模式匹配到的內容,會在執行過程中被正則表達式引擎記錄下來,並保存內置的變量中;這些變量分別是\1, \2, ...
\1: 從左側起,第一個左括號,以及與之配對的右括號中間的模式所匹配到的內容;
\2:
...
後向引用:使用變量引用前面的分組括號中的模式所匹配到的字符;
四、擴展的正則表達式:
grep家庭有三個命令:
grep:基本正則表達式
-E: 擴展正則表達式
-F:不支持正則表達式
egrep:擴展正則表達式
fgrep:不支持正則表達式
擴展正則表達式的元字符:
字符匹配:
.: 任意單個字符
[]:
[^]:
次數匹配:
*
?: 0次或1次;
+: 1次以上;
{m}: 精確匹配m次;
{m,n}: 至少m次,至多n次;
錨定:
^: 錨定行首
$: 錨定行尾
\<, \b
\>, \b
分組:()
後向引用:\1, \2, ...
或者:
a|b
C|cat: 不表示Cat或cat,而表示C或cat;
要寫成(C|c)at
五 練習:
1)顯示/etc/passwd文件中以bash結尾的行?
答: grep –i ‘bash$’/etc/passwd
2)顯示/etc/passwd文件中的兩位數或三位數?
grep '\b[[:digit:]]\{2,3\}\b' /etc/passwd
3)顯示'netstat -tan'命令結果中以‘LISTEN’後跟0個、1個或多個空白字符結尾的行?
netstat –tan | grep ‘\(LISTEN\)[[:space:]]\{0,\}’
netstat –tan | grep ‘LISTEN[[:space:]]\{0,\}’
4)添加用戶bash,testbash, basher以及nologin用戶(nologin用戶的shell爲/sbin/nologin);而後找出/etc/passwd文件中用戶名同shell名的行?
*1 添加用戶
useradd bash
useradd basher
useradd testbash
useradd –s /sbin/nologin nologin
*2在/etc/passwd文件中用戶名和shell同名的行
grep --color=auto -E '^([[:alnum:]]+):.*\1$' /etc/passwd
5)顯示當前系統上root、centos或user1用戶的默認的shell和UID?
useradd user1
useradd centos
egrep '^\<root|centos|user1\>' /etc/passwd | cut -d: -f3,7
6)找出/etc/rc.d/init.d/functions文件中某單詞(單詞中間可以存在下劃線)後面跟着一組小括號的行?
egrep --color=auto '\<[0-9a-zA-Z_]+\>\(\)' /etc/rc.d/init.d/functions
7)使用echo輸出一個路徑,而後egrep找出其路徑基名;進一步地:使用egrep取出其目錄名?
解答:
路徑基名命令:echo /etc/sysconfig/network-scripts/ifdown-eth | egrep -o '([^/]*)$'
路徑目錄名命令: echo /etc/sysconfig/network-scripts/ifdown-eth | egrep -o '(.*)/'
8)找出ifconfig命令執行結果中1-255之間的數字?
ifconfig | egrep '\<[2][0-4][0-9]\>|\<[2][0-5][0-5]\>|\<[1][0-9][0-9]\>|\<[1-9]\>|\<[1-9][0-9]\>'