1、 通配符
通配符是shell在做PathnameExpansion時用到的。說白了一般只用於文件名匹配，它是由shell解析的，比如find，ls，cp，mv等。
1、1 Shell常見通配符：
|
通配符 |
含義 |
實例 |
|
* |
匹配 0 或多個字符 |
a*b a與b之間可以有任意長度的任意字符, 也可以一個也沒有, 如aabcb, axyzb, a012b, ab。 |
|
? |
匹配任意一個字符 |
a?b a與b之間必須也只能有一個字符, 可以是任意字符, 如aab, abb, acb, a0b。 |
|
[list] |
匹配 list 中的任意單一字符 |
a[xyz]b a與b之間必須也只能有一個字符, 但只能是 x 或 y 或 z, 如: axb, ayb, azb。 |
|
[!list]或[^list] |
匹配 除list 中的任意單一字符 |
a[!0-9]b a與b之間必須也只能有一個字符, 但不能是阿拉伯數字, 如axb, aab, a-b。 |
|
[c1-c2] |
匹配 c1-c2 中的任意單一字符 如：[0-9] [a-z] |
a[0-9]b 0與9之間必須也只能有一個字符 如a0b, a1b... a9b。 |
|
[!c1-c2]或[^c1-c2] |
匹配不在c1-c2的任意字符 |
a[!0-9]b 如acb adb |
|
{string1,string2,...} |
匹配 sring1 或 string2 (或更多)其一字符串 |
a{abc,xyz,123}b 列出aabcb,axyzb,a123b |
1、2 shell Meta字符（元字符）
shell 除了有通配符之外，還有一系列自己的其他特殊字符。
|
字符 |
說明 |
|
IFS |
由 <space> 或 <tab> 或 <enter> 三者之一組成(我們常用 space ) |
|
CR |
由 <enter> 產生 |
|
= |
設定變量 |
|
$ |
取變量值或取運算值 |
|
> |
重定向 stdout |
|
< |
重定向 stdin |
|
| |
管道符號 |
|
& |
重導向 file descriptor ，或將命令置於背景執行 |
|
( ) |
將其內的命令置於 nested subshell 執行，或用於運算或命令替換 |
|
{ } |
將其內的命令置於 non-named function 中執行，或用在變量替換的界定範圍 |
|
; |
在前一個命令結束時，而忽略其返回值，繼續執行下一個命令 |
|
&& |
在前一個命令結束時，若返回值爲 true，繼續執行下一個命令 |
|
|| |
在前一個命令結束時，若返回值爲 false，繼續執行下一個命令 |
|
! |
運算意義上的非（not）的意思 |
|
# |
註釋，常用在腳本中 |
|
\ |
轉移字符，去除其後緊跟的元字符或通配符的特殊意義 |
1、3 轉義字符
有時候，我們想讓 通配符，或者元字符 變成普通字符，不需要使用它。那麼這裏我們就需要用到轉義符了。 shell提供轉義符有三種。
|
字符 |
說明 |
|
‘’(單引號) |
硬轉義，其內部所有的shell 元字符、通配符都會被關掉。 |
|
“”(雙引號) |
軟轉義，其內部只允許出現特定的shell 元字符：$用於參數替換 `(反單引號，esc鍵下面)用於命令替換 |
|
\(反斜槓) |
又叫轉義，去除其後緊跟的元字符或通配符的特殊意義 |
2、正則表達式
正則表達式是用來匹配字符串的，針對文件內容的文本過濾工具裏，大都用到正則表達式，如vi，grep，awk，sed等。
另外，這篇文章只針對Linux下的文本過濾工具的正則表達式進行討論，其他的一些編程語言，如C++（c regex,c++ regex,boost regex），java，python等都有自己的正則表達式庫。
簡單點來說，正則表達式是對一組正在處理的文本的描述。
例1：查找文件test中出現單詞hi，並且若干字符後出現單詞Jerry的行
$ grep -E"\<hi\>.+\<Jerry\>" test
ni hao hi nihao Jerrydsfds
例2：查找文件test中出現以hi開頭的單詞，並且若干字符後出現以Jerry結尾的單詞的行
grep -E "\<hi.+Jerry\>"test
ni hao hi nihao Jerrydsfds
wo buhao hiwuyanpingjfkjk Jerry
wo henhao hiwuyanJerry
在正則表達式的使用過程中，一些字符是以特定方式處理的。最常使用的特殊字符如下：
|
字符 |
含義 |
|
^ |
指向一行的開頭 |
|
$ |
指向一行的結尾 |
|
. |
任意單個字符 |
|
[] |
字符範圍。如[a-z] |
如果想將上述字符用作普通字符，就需要在它們前面加上\字符。例如，如果想使用$字符，你需要將它寫爲\$
在方括號中還可以使用一些有用的特殊匹配模式，如下：
|
匹配模式 |
含義 |
|
[:alnum:] |
字母與數字字符,如grep[[:alnum:]] words.txt |
|
[:alpha:] |
字母 |
|
[:ascii:] |
ASCII字符 |
|
[:blank:] |
空格或製表符 |
|
[:cntrl:] |
ASCII控制字符 |
|
[:digit:] |
數字 |
|
[:graph:] |
非控制、非空格字符 |
|
[:lower:] |
小寫字母 |
|
[:print:] |
可打印字符 |
|
[:punct:] |
標點符號字符 |
|
[:space:] |
空白字符，包括垂直製表符 |
|
[:upper:] |
大寫字母 |
|
[:xdigit:] |
十六進制數字 |
另外，如果指定了用於擴展的-E選項，那些用於控制匹配完成的其他字符可能會遵循正則表達式的規則，對於grep命令，我們還需要在這些字符前面加上\,下表是擴展部分一覽：
|
選項 |
含義 |
|
? |
最多一次 |
|
* |
必須匹配0次或多次 |
|
+ |
必須匹配1次或多次 |
|
{n} |
必須匹配n次 |
|
{n,} |
必須匹配n次或以上 |
|
{n,m} |
匹配次數在n到m之間，包括邊界 |
3、通配符和正則表達式比較
（1）通配符和正則表達式看起來有點像，不能混淆。可以簡單的理解爲通配符只有*,?,[],{}這4種，而正則表達式複雜多了。
（2）*在通配符和正則表達式中有其不一樣的地方，在通配符中*可以匹配任意的0個或多個字符，而在正則表達式中他是重複之前的一個或者多個字符，不能獨立使用的。比如通配符可以用*來匹配任意字符，而正則表達式不行，他只匹配任意長度的前面的字符。
4、grep
引自：http://hi.baidu.com/hzslqt/blog/item/dbd0ea4e5145f819b3de05d6.html
1. grep簡介
grep （global search regular expression(RE) and print out the line,全面搜索正則表達式並把行打印出來）是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行打印出來。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的擴展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它們把所有的字母都看作單詞，也就是說，正則表達式中的元字符表示回其自身的字面意義，不再特殊。linux使用GNU版本的grep。它功能更強，可以通過-G、-E、-F命令行選項來使用egrep和fgrep的功能。
grep的工作方式是這樣的，它在一個或多個文件中搜索字符串模板。如果模板包括空格，則必須被引用，模板後的所有字符串被看作文件名。搜索的結果被送到屏幕，不影響原文件內容。
grep可用於shell腳本，因爲grep通過返回一個狀態值來說明搜索的狀態，如果模板搜索成功，則返回0，如果搜索不成功，則返回1，如果搜索的文件不存在，則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。
2. grep正則表達式元字符集（基本集）
^ ：錨定行的開始 如：'^grep'匹配所有以grep開頭的行。
$ ：錨定行的結束 如：'grep$'匹配所有以grep結尾的行。
. ：匹配一個非換行符的字符 如：'gr.p'匹配gr後接一個任意字符，然後是p。
* ：匹配零個或多個先前字符 如：'*grep'匹配所有一個或多個空格後緊跟grep的行。 .*一起用代表任意字符。
[] ：匹配一個指定範圍內的字符，如'[Gg]rep'匹配Grep和grep。
[^] ：匹配一個不在指定範圍內的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭，緊跟rep的行。
.. ：標記匹配字符，如'love'，love被標記爲1。
\< ：錨定單詞的開始，如:'\<grep'匹配包含以grep開頭的單詞的行。
\> ：錨定單詞的結束，如'grep\>'匹配包含以grep結尾的單詞的行。
x\{m\} ：重複字符x，m次，如：'o\{5\}'匹配包含5個o的行。
x\{m,\} ：重複字符x,至少m次，如：'o\{5,\}'匹配至少有5個o的行。
x\{m,n\} ：重複字符x，至少m次，不多於n次，如：'o\{5,10\}'匹配5-10個o的行。
\w ：匹配文字和數字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G後跟零個或多個文字或數字字符，然後是p。
\W ：\w的反置形式，匹配一個或多個非單詞字符，如點號句號等。
\b ：單詞鎖定符，如: '\bgrepb\'只匹配grep。
3. 用於egrep和 grep -E的元字符擴展集
+ ：匹配一個或多個先前的字符。如：'[a-z]+able'，匹配一個或多個小寫字母后跟able的串，如loveable,enable,disable等。
? ：匹配零個或多個先前的字符。如：'gr?p'匹配gr後跟一個或沒有字符，然後是p的行。
a|b|c ：匹配a或b或c。如：grep|sed匹配grep或sed
() ：分組符號，如：love(able|rs)ov+匹配loveable或lovers，匹配一個或多個ov。
x{m},x{m,},x{m,n} ：作用同x\{m\},x\{m,\},x\{m,n\}
5. Grep命令選項
-a或--text 不要忽略二進制的數據。
-A <顯示列數>或--after-context=<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之後的內容。
-b或--byte-offset 在顯示符合範本樣式的那一列之前，標示出該列第一個字符的位編號。
-B<顯示列數>或--before-context=<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之前的內容。
-c或--count 計算符合範本樣式的列數。
-C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合範本樣式的那一列之外，並顯示該列之前後的內容。
-d<進行動作>或--directories=<進行動作> 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息並停止動作。
-e<範本樣式>或--regexp=<範本樣式> 指定字符串做爲查找文件內容的範本樣式。
-E或--extended-regexp 將範本樣式爲延伸的普通表示法來使用。
-f<範本文件>或--file=<範本文件> 指定範本文件，其內容含有一個或多個範本樣式，讓grep查找符合範本條件的文件內容，格式爲每列一個範本樣式。
-F或--fixed-regexp 將範本樣式視爲固定字符串的列表。
-G或--basic-regexp 將範本樣式視爲普通的表示法來使用。
-h或--no-filename 在顯示符合範本樣式的那一列之前，不標示該列所屬的文件名稱。
-H或--with-filename 在顯示符合範本樣式的那一列之前，表示該列所屬的文件名稱。
-i或--ignore-case 忽略字符大小寫的差別。
-l或--file-with-matches 列出文件內容符合指定的範本樣式的文件名稱。
-L或--files-without-match 列出文件內容不符合指定的範本樣式的文件名稱。
-n或--line-number 在顯示符合範本樣式的那一列之前，標示出該列的列數編號。
-q或--quiet或--silent 不顯示任何信息。
-r或--recursive 此參數的效果和指定“-d recurse”參數相同。
-s或--no-messages 不顯示錯誤信息。
-v或--revert-match 反轉查找。
-V或--version 顯示版本信息。
-w或--word-regexp 只顯示全字符合的列。
-x或--line-regexp 只顯示全列符合的列。
-y 此參數的效果和指定“-i”參數相同。
--help 在線幫助。
6. 實例
要用好grep這個工具，其實就是要寫好正則表達式，下面列幾個例子，講解正則表達式的寫法。
$ ls -l | grep '^a'
通過管道過濾ls -l輸出的內容，只顯示以a開頭的行。
$ grep 'test' d*
顯示所有以d開頭的文件中包含test的行。
$ grep 'test' aa bb cc
顯示在aa，bb，cc文件中匹配test的行。
$ grep '[a-z]\{5\}' aa
顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。
$ grep 'west.*\1' aa
如果west被匹配，則es就被存儲到內存中，並標記爲1，然後搜索任意個字符（.*），這些字符後面緊跟着另外一個es（\1），找到就顯示該行。如果用egrep或grep -E，就不用"\"號進行轉義，直接寫成'w(es)t.*\1'就可以了。
再講解一個具體應用的例子。
查詢所有位於當前目錄下的.cs文件中的Main，通過grep，可以輕鬆快速地完成這項任務，命令如下：
grep ‘Main’ *.cs
輸出結果爲：
ChineseDemo.cs: publicstatic void Main()
RegDemo1.cs: static voidMain(string[] args)
RegDemo2.cs: public static void Main()
RegDemo3.cs: publicstatic void Main()
可見，通過grep真的可以找到相關目錄中符合條件的所有文件，並能打印出查詢到的字符串所位於的那行內容。如果只想確定哪些文件含有Main，而不需打印相應行的內容，那麼可以使用以下命令：?
grep –l‘Main’ *.cs
輸出結果爲：
ChineseDemo.cs
RegDemo1.cs
RegDemo2.cs
RegDemo3.cs
只有相應的文件名稱被顯示。
在找到了含有Main字符串的幾個文件後，如果想粗略地查看某一具體文件的裏源代碼的相關信息，比如查看RegDemo1.cs文件中含有Main這一行的前後三行，相關的命令如下：
grep –C 3 ‘Main’ RegDemo1.cs
輸出結果爲：
class GroupingApp
{
static void Main(string[] args)
{
Reg7();
}
輸出結果完全符合需求，static void Main(string[] args)這一行前後三行範圍內的所有代碼被全部打印出來（第一行是空行）。
以上的查詢字符串沒有對查找結果是否爲一個完整的單詞進行限制，也就是說TheMain和Main_Func都會被認定爲查詢目標。如果想限定該查詢字符串爲一個完整單詞，那麼可以使用\w參數，相關命令如下：
grep –w‘Main’ *.cs
結果爲：
ChineseDemo.cs: publicstatic void Main()
RegDemo1.cs: static voidMain(string[] args)
RegDemo2.cs: publicstatic void Main()
RegDemo3.cs: publicstatic void Main()
另外舉例如下：
1）顯示/etc/passwd中的一位數或兩位數（錨定詞首、記尾、分組、轉義、次數匹配）
2）找出當前系統上用戶名和默認shell相同的用戶（行首、行尾錨定）（開始單詞和結束單詞一樣）
3）grep配合其它命令的用法，找出本機的IP地址，只顯示IP段（管道、cut）
[root@nmshuishui ~]# ifconfig eth0 | grep "inet addr:" | cut -d:-f2 | cut -d' ' -f1
192.168.1.102
