正則表達式30分鐘入門教程

版本:v2.33 (2013-1-10) 作者:deerchao 轉載請註明來源

目錄

跳過目錄

  1. 本文目標
  2. 如何使用本教程
  3. 正則表達式到底是什麼東西?
  4. 入門
  5. 測試正則表達式
  6. 元字符
  7. 字符轉義
  8. 重複
  9. 字符類
  10. 分枝條件
  11. 反義
  12. 分組
  13. 後向引用
  14. 零寬斷言
  15. 負向零寬斷言
  16. 註釋
  17. 貪婪與懶惰
  18. 處理選項
  19. 平衡組/遞歸匹配
  20. 還有些什麼東西沒提到
  21. 聯繫作者
  22. 網上的資源及本文參考文獻
  23. 更新紀錄

本文目標

30分鐘內讓你明白正則表達式是什麼,並對它有一些基本的瞭解,讓你可以在自己的程序或網頁裏使用它。

如何使用本教程

最重要的是——請給我30分鐘,如果你沒有使用正則表達式的經驗,請不要試圖在30內入門——除非你是超人 :)

別被下面那些複雜的表達式嚇倒,只要跟着我一步一步來,你會發現正則表達式其實並沒有想像中的那麼困難。當然,如果你看完了這篇教程之後,發現自己明白了很多,卻又幾乎什麼都記不得,那也是很正常的——我認爲,沒接觸過正則表達式的人在看完這篇教程後,能把提到過的語法記住80%以上的可能性爲零。這裏只是讓你明白基本的原理,以後你還需要多練習,多使用,才能熟練掌握正則表達式。

除了作爲入門教程之外,本文還試圖成爲可以在日常工作中使用的正則表達式語法參考手冊。就作者本人的經歷來說,這個目標還是完成得不錯的——你看,我自己也沒能把所有的東西記下來,不是嗎?

清除格式 文本格式約定:專業術語 元字符/語法格式 正則表達式 正則表達式中的一部分(用於分析) 對其進行匹配的源字符串 對正則表達式或其中一部分的說明

隱藏邊注 本文右邊有一些註釋,主要是用來提供一些相關信息,或者給沒有程序員背景的讀者解釋一些基本概念,通常可以忽略。

正則表達式到底是什麼東西?

字符是計算機軟件處理文字時最基本的單位,可能是字母,數字,標點符號,空格,換行符,漢字等等。字符串是0個或更多個字符的序列。文本也就是文字,字符串。說某個字符串匹配某個正則表達式,通常是指這個字符串裏有一部分(或幾部分分別)能滿足表達式給出的條件。

在編寫處理字符串的程序或網頁時,經常會有查找符合某些複雜規則的字符串的需要。正則表達式就是用於描述這些規則的工具。換句話說,正則表達式就是記錄文本規則的代碼。

很可能你使用過Windows/Dos下用於文件查找的通配符(wildcard),也就是*?。如果你想查找某個目錄下的所有的Word文檔的話,你會搜索*.doc。在這裏,*會被解釋成任意的字符串。和通配符類似,正則表達式也是用來進行文本匹配的工具,只不過比起通配符,它能更精確地描述你的需求——當然,代價就是更復雜——比如你可以編寫一個正則表達式,用來查找所有以0開頭,後面跟着2-3個數字,然後是一個連字號“-”,最後是7或8位數字的字符串(像010-123456780376-7654321)。

入門

學習正則表達式的最好方法是從例子開始,理解例子之後再自己對例子進行修改,實驗。下面給出了不少簡單的例子,並對它們作了詳細的說明。

假設你在一篇英文小說裏查找hi,你可以使用正則表達式hi

這幾乎是最簡單的正則表達式了,它可以精確匹配這樣的字符串:由兩個字符組成,前一個字符是h,後一個是i。通常,處理正則表達式的工具會提供一個忽略大小寫的選項,如果選中了這個選項,它可以匹配hi,HI,Hi,hI這四種情況中的任意一種。

不幸的是,很多單詞裏包含hi這兩個連續的字符,比如him,history,high等等。用hi來查找的話,這裏邊的hi也會被找出來。如果要精確地查找hi這個單詞的話,我們應該使用\bhi\b

\b是正則表達式規定的一個特殊代碼(好吧,某些人叫它元字符,metacharacter),代表着單詞的開頭或結尾,也就是單詞的分界處。雖然通常英文的單詞是由空格,標點符號或者換行來分隔的,但是\b並不匹配這些單詞分隔字符中的任何一個,它只匹配一個位置

如果需要更精確的說法,\b匹配這樣的位置:它的前一個字符和後一個字符不全是(一個是,一個不是或不存在)\w

假如你要找的是hi後面不遠處跟着一個Lucy,你應該用\bhi\b.*\bLucy\b

這裏,.是另一個元字符,匹配除了換行符以外的任意字符*同樣是元字符,不過它代表的不是字符,也不是位置,而是數量——它指定*前邊的內容可以連續重複使用任意次以使整個表達式得到匹配。因此,.*連在一起就意味着任意數量的不包含換行的字符。現在\bhi\b.*\bLucy\b的意思就很明顯了:先是一個單詞hi,然後是任意個任意字符(但不能是換行),最後是Lucy這個單詞

換行符就是'\n',ASCII編碼爲10(十六進制0x0A)的字符。

如果同時使用其它元字符,我們就能構造出功能更強大的正則表達式。比如下面這個例子:

0\d\d-\d\d\d\d\d\d\d\d匹配這樣的字符串:以0開頭,然後是兩個數字,然後是一個連字號“-”,最後是8個數字(也就是中國的電話號碼。當然,這個例子只能匹配區號爲3位的情形)。

這裏的\d是個新的元字符,匹配一位數字(0,或1,或2,或……)-不是元字符,只匹配它本身——連字符(或者減號,或者中橫線,或者隨你怎麼稱呼它)。

爲了避免那麼多煩人的重複,我們也可以這樣寫這個表達式:0\d{2}-\d{8}。這裏\d後面的{2}({8})的意思是前面\d必須連續重複匹配2次(8次)

測試正則表達式

如果你不覺得正則表達式很難讀寫的話,要麼你是一個天才,要麼,你不是地球人。正則表達式的語法很令人頭疼,即使對經常使用它的人來說也是如此。由於難於讀寫,容易出錯,所以找一種工具對正則表達式進行測試是很有必要的。

不同的環境下正則表達式的一些細節是不相同的,本教程介紹的是微軟 .Net Framework 4.0 下正則表達式的行爲,所以,我向你推薦我編寫的.Net下的工具 正則表達式測試器。請參考該頁面的說明來安裝和運行該軟件。

下面是Regex Tester運行時的截圖:

正則表達式測試器運行截圖

元字符

現在你已經知道幾個很有用的元字符了,如\b,.,*,還有\d.正則表達式裏還有更多的元字符,比如\s匹配任意的空白符,包括空格,製表符(Tab),換行符,中文全角空格等\w匹配字母或數字或下劃線或漢字等

對中文/漢字的特殊處理是由.Net提供的正則表達式引擎支持的,其它環境下的具體情況請查看相關文檔。

下面來看看更多的例子:

\ba\w*\b匹配以字母a開頭的單詞——先是某個單詞開始處(\b),然後是字母a,然後是任意數量的字母或數字(\w*),最後是單詞結束處(\b)

好吧,現在我們說說正則表達式裏的單詞是什麼意思吧:就是不少於一個的連續的\w。不錯,這與學習英文時要背的成千上萬個同名的東西的確關係不大 :)

\d+匹配1個或更多連續的數字。這裏的+是和*類似的元字符,不同的是*匹配重複任意次(可能是0次),而+則匹配重複1次或更多次

\b\w{6}\b 匹配剛好6個字符的單詞

表1.常用的元字符
代碼 說明
. 匹配除換行符以外的任意字符
\w 匹配字母或數字或下劃線或漢字
\s 匹配任意的空白符
\d 匹配數字
\b 匹配單詞的開始或結束
^ 匹配字符串的開始
$ 匹配字符串的結束

正則表達式引擎通常會提供一個“測試指定的字符串是否匹配一個正則表達式”的方法,如JavaScript裏的RegExp.test()方法或.NET裏的Regex.IsMatch()方法。這裏的匹配是指是字符串裏有沒有符合表達式規則的部分。如果不使用^$的話,對於\d{5,12}而言,使用這樣的方法就只能保證字符串裏包含5到12連續位數字,而不是整個字符串就是5到12位數字。

元字符^(和數字6在同一個鍵位上的符號)和$都匹配一個位置,這和\b有點類似。^匹配你要用來查找的字符串的開頭,$匹配結尾。這兩個代碼在驗證輸入的內容時非常有用,比如一個網站如果要求你填寫的QQ號必須爲5位到12位數字時,可以使用:^\d{5,12}$

這裏的{5,12}和前面介紹過的{2}是類似的,只不過{2}匹配只能不多不少重複2次{5,12}則是重複的次數不能少於5次,不能多於12次,否則都不匹配。

因爲使用了^$,所以輸入的整個字符串都要用來和\d{5,12}來匹配,也就是說整個輸入必須是5到12個數字,因此如果輸入的QQ號能匹配這個正則表達式的話,那就符合要求了。

和忽略大小寫的選項類似,有些正則表達式處理工具還有一個處理多行的選項。如果選中了這個選項,^$的意義就變成了匹配行的開始處和結束處

字符轉義

如果你想查找元字符本身的話,比如你查找.,或者*,就出現了問題:你沒辦法指定它們,因爲它們會被解釋成別的意思。這時你就得使用\來取消這些字符的特殊意義。因此,你應該使用\.\*。當然,要查找\本身,你也得用\\.

例如:deerchao\.net匹配deerchao.netC:\\Windows匹配C:\Windows

重複

你已經看過了前面的*,+,{2},{5,12}這幾個匹配重複的方式了。下面是正則表達式中所有的限定符(指定數量的代碼,例如*,{5,12}等):

表2.常用的限定符
代碼/語法 說明
* 重複零次或更多次
+ 重複一次或更多次
? 重複零次或一次
{n} 重複n次
{n,} 重複n次或更多次
{n,m} 重複n到m次

下面是一些使用重複的例子:

Windows\d+匹配Windows後面跟1個或更多數字

^\w+匹配一行的第一個單詞(或整個字符串的第一個單詞,具體匹配哪個意思得看選項設置)

字符類

要想查找數字,字母或數字,空白是很簡單的,因爲已經有了對應這些字符集合的元字符,但是如果你想匹配沒有預定義元字符的字符集合(比如元音字母a,e,i,o,u),應該怎麼辦?

很簡單,你只需要在方括號裏列出它們就行了,像[aeiou]就匹配任何一個英文元音字母[.?!]匹配標點符號(.或?或!)

我們也可以輕鬆地指定一個字符範圍,像[0-9]代表的含意與\d就是完全一致的:一位數字;同理[a-z0-9A-Z_]也完全等同於\w(如果只考慮英文的話)。

下面是一個更復雜的表達式:\(?0\d{2}[) -]?\d{8}

“(”和“)”也是元字符,後面的分組節裏會提到,所以在這裏需要使用轉義

這個表達式可以匹配幾種格式的電話號碼,像(010)88886666,或022-22334455,或02912345678等。我們對它進行一些分析吧:首先是一個轉義字符\(,它能出現0次或1次(?),然後是一個0,後面跟着2個數字(\d{2}),然後是)-空格中的一個,它出現1次或不出現(?),最後是8個數字(\d{8})。

分枝條件

不幸的是,剛纔那個表達式也能匹配010)12345678(022-87654321這樣的“不正確”的格式。要解決這個問題,我們需要用到分枝條件。正則表達式裏的分枝條件指的是有幾種規則,如果滿足其中任意一種規則都應該當成匹配,具體方法是用|把不同的規則分隔開。聽不明白?沒關係,看例子:

0\d{2}-\d{8}|0\d{3}-\d{7}這個表達式能匹配兩種以連字號分隔的電話號碼:一種是三位區號,8位本地號(如010-12345678),一種是4位區號,7位本地號(0376-2233445)

\(?0\d{2}\)?[- ]?\d{8}|0\d{2}[- ]?\d{8}這個表達式匹配3位區號的電話號碼,其中區號可以用小括號括起來,也可以不用,區號與本地號間可以用連字號或空格間隔,也可以沒有間隔。你可以試試用分枝條件把這個表達式擴展成也支持4位區號的。

\d{5}-\d{4}|\d{5}這個表達式用於匹配美國的郵政編碼。美國郵編的規則是5位數字,或者用連字號間隔的9位數字。之所以要給出這個例子是因爲它能說明一個問題:使用分枝條件時,要注意各個條件的順序。如果你把它改成\d{5}|\d{5}-\d{4}的話,那麼就只會匹配5位的郵編(以及9位郵編的前5位)。原因是匹配分枝條件時,將會從左到右地測試每個條件,如果滿足了某個分枝的話,就不會去再管其它的條件了。

分組

我們已經提到了怎麼重複單個字符(直接在字符後面加上限定符就行了);但如果想要重複多個字符又該怎麼辦?你可以用小括號來指定子表達式(也叫做分組),然後你就可以指定這個子表達式的重複次數了,你也可以對子表達式進行其它一些操作(後面會有介紹)。

(\d{1,3}\.){3}\d{1,3}是一個簡單的IP地址匹配表達式。要理解這個表達式,請按下列順序分析它:\d{1,3}匹配1到3位的數字(\d{1,3}\.){3}匹配三位數字加上一個英文句號(這個整體也就是這個分組)重複3次,最後再加上一個一到三位的數字(\d{1,3})。

IP地址中每個數字都不能大於255. 經常有人問我, 01.02.03.04 這樣前面帶有0的數字, 是不是正確的IP地址呢? 答案是: 是的, IP 地址裏的數字可以包含有前導 0 (leading zeroes).

不幸的是,它也將匹配256.300.888.999這種不可能存在的IP地址。如果能使用算術比較的話,或許能簡單地解決這個問題,但是正則表達式中並不提供關於數學的任何功能,所以只能使用冗長的分組,選擇,字符類來描述一個正確的IP地址:((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)

理解這個表達式的關鍵是理解2[0-4]\d|25[0-5]|[01]?\d\d?,這裏我就不細說了,你自己應該能分析得出來它的意義。

反義

有時需要查找不屬於某個能簡單定義的字符類的字符。比如想查找除了數字以外,其它任意字符都行的情況,這時需要用到反義

表3.常用的反義代碼
代碼/語法 說明
\W 匹配任意不是字母,數字,下劃線,漢字的字符
\S 匹配任意不是空白符的字符
\D 匹配任意非數字的字符
\B 匹配不是單詞開頭或結束的位置
[^x] 匹配除了x以外的任意字符
[^aeiou] 匹配除了aeiou這幾個字母以外的任意字符

例子:\S+匹配不包含空白符的字符串

<a[^>]+>匹配用尖括號括起來的以a開頭的字符串

後向引用

使用小括號指定一個子表達式後,匹配這個子表達式的文本(也就是此分組捕獲的內容)可以在表達式或其它程序中作進一步的處理。默認情況下,每個分組會自動擁有一個組號,規則是:從左向右,以分組的左括號爲標誌,第一個出現的分組的組號爲1,第二個爲2,以此類推。

呃……其實,組號分配還不像我剛說得那麼簡單:

  • 分組0對應整個正則表達式
  • 實際上組號分配過程是要從左向右掃描兩遍的:第一遍只給未命名組分配,第二遍只給命名組分配--因此所有命名組的組號都大於未命名的組號
  • 你可以使用(?:exp)這樣的語法來剝奪一個分組對組號分配的參與權.

後向引用用於重複搜索前面某個分組匹配的文本。例如,\1代表分組1匹配的文本。難以理解?請看示例:

\b(\w+)\b\s+\1\b可以用來匹配重複的單詞,像go go, 或者kitty kitty。這個表達式首先是一個單詞,也就是單詞開始處和結束處之間的多於一個的字母或數字(\b(\w+)\b),這個單詞會被捕獲到編號爲1的分組中,然後是1個或幾個空白符(\s+),最後是分組1中捕獲的內容(也就是前面匹配的那個單詞)(\1)。

你也可以自己指定子表達式的組名。要指定一個子表達式的組名,請使用這樣的語法:(?<Word>\w+)(或者把尖括號換成'也行:(?'Word'\w+)),這樣就把\w+的組名指定爲Word了。要反向引用這個分組捕獲的內容,你可以使用\k<Word>,所以上一個例子也可以寫成這樣:\b(?<Word>\w+)\b\s+\k<Word>\b

使用小括號的時候,還有很多特定用途的語法。下面列出了最常用的一些:

表4.常用分組語法
分類 代碼/語法 說明
捕獲 (exp) 匹配exp,並捕獲文本到自動命名的組裏
(?<name>exp) 匹配exp,並捕獲文本到名稱爲name的組裏,也可以寫成(?'name'exp)
(?:exp) 匹配exp,不捕獲匹配的文本,也不給此分組分配組號
零寬斷言 (?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp後面的位置
(?!exp) 匹配後面跟的不是exp的位置
(?<!exp) 匹配前面不是exp的位置
註釋 (?#comment) 這種類型的分組不對正則表達式的處理產生任何影響,用於提供註釋讓人閱讀

我們已經討論了前兩種語法。第三個(?:exp)不會改變正則表達式的處理方式,只是這樣的組匹配的內容不會像前兩種那樣被捕獲到某個組裏面,也不會擁有組號。“我爲什麼會想要這樣做?”——好問題,你覺得爲什麼呢?

零寬斷言

地球人,是不是覺得這些術語名稱太複雜,太難記了?我也有同感。知道有這麼一種東西就行了,它叫什麼,隨它去吧!人若無名,便可專心練劍;物若無名,便可隨意取捨……

接下來的四個用於查找在某些內容(但並不包括這些內容)之前或之後的東西,也就是說它們像\b,^,$那樣用於指定一個位置,這個位置應該滿足一定的條件(即斷言),因此它們也被稱爲零寬斷言。最好還是拿例子來說明吧:

斷言用來聲明一個應該爲真的事實。正則表達式中只有當斷言爲真時纔會繼續進行匹配。

(?=exp)也叫零寬度正預測先行斷言,它斷言自身出現的位置的後面能匹配表達式exp。比如\b\w+(?=ing\b),匹配以ing結尾的單詞的前面部分(除了ing以外的部分),如查找I'm singing while you're dancing.時,它會匹配singdanc

(?<=exp)也叫零寬度正回顧後發斷言,它斷言自身出現的位置的前面能匹配表達式exp。比如(?<=\bre)\w+\b會匹配以re開頭的單詞的後半部分(除了re以外的部分),例如在查找reading a book時,它匹配ading

假如你想要給一個很長的數字中每三位間加一個逗號(當然是從右邊加起了),你可以這樣查找需要在前面和裏面添加逗號的部分:((?<=\d)\d{3})+\b,用它對1234567890進行查找時結果是234567890

下面這個例子同時使用了這兩種斷言:(?<=\s)\d+(?=\s)匹配以空白符間隔的數字(再次強調,不包括這些空白符)

負向零寬斷言

前面我們提到過怎麼查找不是某個字符或不在某個字符類裏的字符的方法(反義)。但是如果我們只是想要確保某個字符沒有出現,但並不想去匹配它時怎麼辦?例如,如果我們想查找這樣的單詞--它裏面出現了字母q,但是q後面跟的不是字母u,我們可以嘗試這樣:

\b\w*q[^u]\w*\b匹配包含後面不是字母u的字母q的單詞。但是如果多做測試(或者你思維足夠敏銳,直接就觀察出來了),你會發現,如果q出現在單詞的結尾的話,像Iraq,Benq,這個表達式就會出錯。這是因爲[^u]總要匹配一個字符,所以如果q是單詞的最後一個字符的話,後面的[^u]將會匹配q後面的單詞分隔符(可能是空格,或者是句號或其它的什麼),後面的\w*\b將會匹配下一個單詞,於是\b\w*q[^u]\w*\b就能匹配整個Iraq fighting負向零寬斷言能解決這樣的問題,因爲它只匹配一個位置,並不消費任何字符。現在,我們可以這樣來解決這個問題:\b\w*q(?!u)\w*\b

零寬度負預測先行斷言(?!exp)斷言此位置的後面不能匹配表達式exp。例如:\d{3}(?!\d)匹配三位數字,而且這三位數字的後面不能是數字\b((?!abc)\w)+\b匹配不包含連續字符串abc的單詞

同理,我們可以用(?<!exp),零寬度負回顧後發斷言斷言此位置的前面不能匹配表達式exp(?<![a-z])\d{7}匹配前面不是小寫字母的七位數字

請詳細分析表達式(?<=<(\w+)>).*(?=<\/\1>),這個表達式最能表現零寬斷言的真正用途。

一個更復雜的例子:(?<=<(\w+)>).*(?=<\/\1>)匹配不包含屬性的簡單HTML標籤內裏的內容(?<=<(\w+)>)指定了這樣的前綴被尖括號括起來的單詞(比如可能是<b>),然後是.*(任意的字符串),最後是一個後綴(?=<\/\1>)。注意後綴裏的\/,它用到了前面提過的字符轉義;\1則是一個反向引用,引用的正是捕獲的第一組,前面的(\w+)匹配的內容,這樣如果前綴實際上是<b>的話,後綴就是</b>了。整個表達式匹配的是<b>和</b>之間的內容(再次提醒,不包括前綴和後綴本身)。

註釋

小括號的另一種用途是通過語法(?#comment)來包含註釋。例如:2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)

要包含註釋的話,最好是啓用“忽略模式裏的空白符”選項,這樣在編寫表達式時能任意的添加空格,Tab,換行,而實際使用時這些都將被忽略。啓用這個選項後,在#後面到這一行結束的所有文本都將被當成註釋忽略掉。例如,我們可以前面的一個表達式寫成這樣:

      (?<=    # 斷言要匹配的文本的前綴
      <(\w+)> # 查找尖括號括起來的字母或數字(即HTML/XML標籤)
      )       # 前綴結束
      .*      # 匹配任意文本
      (?=     # 斷言要匹配的文本的後綴
      <\/\1>  # 查找尖括號括起來的內容:前面是一個"/",後面是先前捕獲的標籤
      )       # 後綴結束

貪婪與懶惰

當正則表達式中包含能接受重複的限定符時,通常的行爲是(在使整個表達式能得到匹配的前提下)匹配儘可能多的字符。以這個表達式爲例:a.*b,它將會匹配最長的以a開始,以b結束的字符串。如果用它來搜索aabab的話,它會匹配整個字符串aabab。這被稱爲貪婪匹配。

有時,我們更需要懶惰匹配,也就是匹配儘可能少的字符。前面給出的限定符都可以被轉化爲懶惰匹配模式,只要在它後面加上一個問號?。這樣.*?就意味着匹配任意數量的重複,但是在能使整個匹配成功的前提下使用最少的重複。現在看看懶惰版的例子吧:

a.*?b匹配最短的,以a開始,以b結束的字符串。如果把它應用於aabab的話,它會匹配aab(第一到第三個字符)ab(第四到第五個字符)

爲什麼第一個匹配是aab(第一到第三個字符)而不是ab(第二到第三個字符)?簡單地說,因爲正則表達式有另一條規則,比懶惰/貪婪規則的優先級更高:最先開始的匹配擁有最高的優先權——The match that begins earliest wins。

表5.懶惰限定符
代碼/語法 說明
*? 重複任意次,但儘可能少重複
+? 重複1次或更多次,但儘可能少重複
?? 重複0次或1次,但儘可能少重複
{n,m}? 重複n到m次,但儘可能少重複
{n,}? 重複n次以上,但儘可能少重複

處理選項

在C#中,你可以使用Regex(String, RegexOptions)構造函數來設置正則表達式的處理選項。如:Regex regex = new Regex(@"\ba\w{6}\b", RegexOptions.IgnoreCase);

上面介紹了幾個選項如忽略大小寫,處理多行等,這些選項能用來改變處理正則表達式的方式。下面是.Net中常用的正則表達式選項:

表6.常用的處理選項
名稱 說明
IgnoreCase(忽略大小寫) 匹配時不區分大小寫。
Multiline(多行模式) 更改^$的含義,使它們分別在任意一行的行首和行尾匹配,而不僅僅在整個字符串的開頭和結尾匹配。(在此模式下,$的精確含意是:匹配\n之前的位置以及字符串結束前的位置.)
Singleline(單行模式) 更改.的含義,使它與每一個字符匹配(包括換行符\n)。
IgnorePatternWhitespace(忽略空白) 忽略表達式中的非轉義空白並啓用由#標記的註釋。
ExplicitCapture(顯式捕獲) 僅捕獲已被顯式命名的組。

一個經常被問到的問題是:是不是隻能同時使用多行模式和單行模式中的一種?答案是:不是。這兩個選項之間沒有任何關係,除了它們的名字比較相似(以至於讓人感到疑惑)以外。

平衡組/遞歸匹配

這裏介紹的平衡組語法是由.Net Framework支持的;其它語言/庫不一定支持這種功能,或者支持此功能但需要使用不同的語法。

有時我們需要匹配像( 100 * ( 50 + 15 ) )這樣的可嵌套的層次性結構,這時簡單地使用\(.+\)則只會匹配到最左邊的左括號和最右邊的右括號之間的內容(這裏我們討論的是貪婪模式,懶惰模式也有下面的問題)。假如原來的字符串裏的左括號和右括號出現的次數不相等,比如( 5 / ( 3 + 2 ) ) ),那我們的匹配結果裏兩者的個數也不會相等。有沒有辦法在這樣的字符串裏匹配到最長的,配對的括號之間的內容呢?

爲了避免(\(把你的大腦徹底搞糊塗,我們還是用尖括號代替圓括號吧。現在我們的問題變成了如何把xx <aa <bbb> <bbb> aa> yy這樣的字符串裏,最長的配對的尖括號內的內容捕獲出來?

這裏需要用到以下的語法構造:

  • (?'group') 把捕獲的內容命名爲group,並壓入堆棧(Stack)
  • (?'-group') 從堆棧上彈出最後壓入堆棧的名爲group的捕獲內容,如果堆棧本來爲空,則本分組的匹配失敗
  • (?(group)yes|no) 如果堆棧上存在以名爲group的捕獲內容的話,繼續匹配yes部分的表達式,否則繼續匹配no部分
  • (?!) 零寬負向先行斷言,由於沒有後綴表達式,試圖匹配總是失敗

如果你不是一個程序員(或者你自稱程序員但是不知道堆棧是什麼東西),你就這樣理解上面的三種語法吧:第一個就是在黑板上寫一個"group",第二個就是從黑板上擦掉一個"group",第三個就是看黑板上寫的還有沒有"group",如果有就繼續匹配yes部分,否則就匹配no部分。

我們需要做的是每碰到了左括號,就在壓入一個"Open",每碰到一個右括號,就彈出一個,到了最後就看看堆棧是否爲空--如果不爲空那就證明左括號比右括號多,那匹配就應該失敗。正則表達式引擎會進行回溯(放棄最前面或最後面的一些字符),儘量使整個表達式得到匹配。

<                         #最外層的左括號
    [^<>]*                #最外層的左括號後面的不是括號的內容
    (
        (
            (?'Open'<)    #碰到了左括號,在黑板上寫一個"Open"
            [^<>]*       #匹配左括號後面的不是括號的內容
        )+
        (
            (?'-Open'>)   #碰到了右括號,擦掉一個"Open"
            [^<>]*        #匹配右括號後面不是括號的內容
        )+
    )*
    (?(Open)(?!))         #在遇到最外層的右括號前面,判斷黑板上還有沒有沒擦掉的"Open";如果還有,則匹配失敗

>                         #最外層的右括號

平衡組的一個最常見的應用就是匹配HTML,下面這個例子可以匹配嵌套的<div>標籤<div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]*)+((?'-Open'</div>)[^<>]*)+)*(?(Open)(?!))</div>.

還有些什麼東西沒提到

上邊已經描述了構造正則表達式的大量元素,但是還有很多沒有提到的東西。下面是一些未提到的元素的列表,包含語法和簡單的說明。你可以在網上找到更詳細的參考資料來學習它們--當你需要用到它們的時候。如果你安裝了MSDN Library,你也可以在裏面找到.net下正則表達式詳細的文檔。這裏的介紹很簡略,如果你需要更詳細的信息,而又沒有在電腦上安裝MSDN Library,可以查看關於正則表達式語言元素的MSDN在線文檔

表7.尚未詳細討論的語法
代碼/語法 說明
\a 報警字符(打印它的效果是電腦嘀一聲)
\b 通常是單詞分界位置,但如果在字符類裏使用代表退格
\t 製表符,Tab
\r 回車
\v 豎向製表符
\f 換頁符
\n 換行符
\e Escape
\0nn ASCII代碼中八進制代碼爲nn的字符
\xnn ASCII代碼中十六進制代碼爲nn的字符
\unnnn Unicode代碼中十六進制代碼爲nnnn的字符
\cN ASCII控制字符。比如\cC代表Ctrl+C
\A 字符串開頭(類似^,但不受處理多行選項的影響)
\Z 字符串結尾或行尾(不受處理多行選項的影響)
\z 字符串結尾(類似$,但不受處理多行選項的影響)
\G 當前搜索的開頭
\p{name} Unicode中命名爲name的字符類,例如\p{IsGreek}
(?>exp) 貪婪子表達式
(?<x>-<y>exp) 平衡組
(?im-nsx:exp) 在子表達式exp中改變處理選項
(?im-nsx) 爲表達式後面的部分改變處理選項
(?(exp)yes|no) 把exp當作零寬正向先行斷言,如果在這個位置能匹配,使用yes作爲此組的表達式;否則使用no
(?(exp)yes) 同上,只是使用空表達式作爲no
(?(name)yes|no) 如果命名爲name的組捕獲到了內容,使用yes作爲表達式;否則使用no
(?(name)yes) 同上,只是使用空表達式作爲no

聯繫作者

好吧,我承認,我騙了你,讀到這裏你肯定花了不止30分鐘.相信我,這是我的錯,而不是因爲你太笨.我之所以說"30分鐘",是爲了讓你有信心,有耐心繼續下去.既然你看到了這裏,那證明我的陰謀成功了.被忽悠的感覺很爽吧?

要投訴我,或者覺得我其實可以忽悠得更高明,歡迎來我的微博讓我知道. 如果你有關於正則表達式的問題, 可以到 stackoverflow網站上提問, 記得要添加 regex 標籤. 如果你更習慣於用中文交流, 可以到微博上用 #正則# 標籤提出問題.

網上的資源及本文參考文獻



常用正則表達式

版本:v0.03 (2013-5-13) 整理:deerchao 轉載請註明來源

說明:正則表達式通常用於兩種任務:1.驗證,2.搜索/替換。用於驗證時,通常需要在前後分別加上^和$,以匹配整個待驗證字符串;搜索/替換時是否加上此限定則根據搜索的要求而定,此外,也有可能要在前後加上\b而不是^和$。此表所列的常用正則表達式,除個別外均未在前後加上任何限定,請根據需要,自行處理。

說明 正則表達式
網址(URL) [a-zA-z]+://[^\s]*
IP地址(IP Address) ((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)
電子郵件(Email) \w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
QQ號碼 [1-9]\d{4,}
HTML標記(包含內容或自閉合) <(.*)(.*)>.*<\/\1>|<(.*) \/>
密碼(由數字/大寫字母/小寫字母/標點符號組成,四種都必有,8位以上) (?=^.{8,}$)(?=.*\d)(?=.*\W+)(?=.*[A-Z])(?=.*[a-z])(?!.*\n).*$
日期(年-月-日) (\d{4}|\d{2})-((1[0-2])|(0?[1-9]))-(([12][0-9])|(3[01])|(0?[1-9]))
日期(月/日/年) ((1[0-2])|(0?[1-9]))/(([12][0-9])|(3[01])|(0?[1-9]))/(\d{4}|\d{2})
時間(小時:分鐘, 24小時制) ((1|0?)[0-9]|2[0-3]):([0-5][0-9])
漢字(字符) [\u4e00-\u9fa5]
中文及全角標點符號(字符) [\u3000-\u301e\ufe10-\ufe19\ufe30-\ufe44\ufe50-\ufe6b\uff01-\uffee]
中國大陸固定電話號碼 (\d{4}-|\d{3}-)?(\d{8}|\d{7})
中國大陸手機號碼 1\d{10}
中國大陸郵政編碼 [1-9]\d{5}
中國大陸身份證號(15位或18位) \d{15}(\d\d[0-9xX])?
非負整數(正整數或零) \d+
正整數 [0-9]*[1-9][0-9]*
負整數 -[0-9]*[1-9][0-9]*
整數 -?\d+
小數 (-?\d+)(\.\d+)?
不包含abc的單詞 \b((?!abc)\w)+\b




正則表達式

百科名片

在計算機科學中,是指一個用來描述或者匹配一系列符合某個句法規則的字符串的單個字符串。在很多文本編輯器或其他工具裏,正則表達式通常被用來檢索和/或替換那些符合某個模式的文本內容。許多程序設計語言都支持利用正則表達式進行字符串操作。例如,在Perl中就內建了一個功能強大的正則表達式引擎。正則表達式這個概念最初是由Unix中的工具軟件(例如sed和grep)普及開的。正則表達式通常縮寫成“regex”,單數有regexp、regex,複數有regexps、regexes、regexen。

概念

正則表達式是對字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。
給定一個正則表達式和另一個字符串,我們可以達到如下的目的:
1. 給定的字符串是否符合正則表達式的過濾邏輯(稱作“匹配”);
2. 可以通過正則表達式,從字符串中獲取我們想要的特定部分。
正則表達式的特點是:
1. 靈活性、邏輯性和功能性非常的強;
2. 可以迅速地用極簡單的方式達到字符串的複雜控制。
3. 對於剛接觸的人來說,比較晦澀難懂。
由於正則表達式主要應用對象是文本,因此它在各種文本編輯器場合都有應用,小到著名編輯器EditPlus,大到Microsoft Word、Visual Studio等大型編輯器,都可以使用正則表達式來處理文本內容。

編輯本段引擎

正則引擎主要可以分爲兩大類:一種是DFA,一種是NFA。這兩種引擎都有了很久的歷史(至今二十多年),當中也由這兩種引擎產生了很多變體!於是POSIX的出臺產生規範了不必要變體的繼續產生。這樣一來,主流的正則引擎又分爲3類:一、DFA,二、傳統型NFA,三、POSIX NFA。
DFA 引擎在線性時狀態下執行,因爲它們不要求回溯(並因此它們永遠不測試相同的字符兩次)。DFA 引擎還可以確保匹配最長的可能的字符串。但是,因爲 DFA 引擎只包含有限的狀態,所以它不能匹配具有反向引用的模式;並且因爲它不構造顯示擴展,所以它不可以捕獲子表達式。
傳統的 NFA 引擎運行所謂的“貪婪的”匹配回溯算法,以指定順序測試正則表達式的所有可能的擴展並接受第一個匹配項。因爲傳統的 NFA 構造正則表達式的特定擴展以獲得成功的匹配,所以它可以捕獲子表達式匹配和匹配的反向引用。但是,因爲傳統的 NFA 回溯,所以它可以訪問完全相同的狀態多次(如果通過不同的路徑到達該狀態)。因此,在最壞情況下,它的執行速度可能非常慢。因爲傳統的 NFA 接受它找到的第一個匹配,所以它還可能會導致其他(可能更長)匹配未被發現。
POSIX NFA 引擎與傳統的 NFA 引擎類似,不同的一點在於:在它們可以確保已找到了可能的最長的匹配之前,它們將繼續回溯。因此,POSIX NFA 引擎的速度慢於傳統的 NFA 引擎;並且在使用 POSIX NFA 時,您恐怕不會願意在更改回溯搜索的順序的情況下來支持較短的匹配搜索,而非較長的匹配搜索。
使用DFA引擎的程序主要有:awk,egrep,flex,lex,MySQL,Procmail等;
使用傳統型NFA引擎的程序主要有:GNU Emacs,Java,ergp,less,more,.NET語言,PCRE library,Perl,PHP,Python,Ruby,sed,vi;
使用POSIX NFA引擎的程序主要有:mawk,Mortice Kern Systems’ utilities,GNU Emacs(使用時可以明確指定);
也有使用DFA/NFA混合的引擎:GNU awk,GNU grep/egrep,Tcl。
舉例簡單說明NFA與DFA工作的區別:
比如有字符串this is yansen’s blog,正則表達式爲 /ya(msen|nsen|nsem)/ (不要在乎表達式怎麼樣,這裏只是爲了說明引擎間的工作區別)。 NFA工作方式如下,先在字符串中查找 y 然後匹配其後是否爲 a ,如果是 a 則繼續,查找其後是否爲 m 如果不是則匹配其後是否爲 n (此時淘汰msen選擇支)。然後繼續看其後是否依次爲 s,e,接着測試是否爲 n ,是 n 則匹配成功,不是則測試是否爲 m 。爲什麼是 m ?因爲 NFA 工作方式是以正則表達式爲標準,反覆測試字符串,這樣同樣一個字符串有可能被反覆測試了很多次!
而DFA則不是如此,DFA會從 this 中 t 開始依次查找 y,定位到 y ,已知其後爲 a ,則查看表達式是否有 a ,此處正好有 a 。然後字符串 a 後爲 n ,DFA依次測試表達式,此時 msen 不符合要求淘汰。nsen 和 nsem 符合要求,然後DFA依次檢查字符串,檢測到sen 中的 n 時只有nsen 分支符合,則匹配成功!
由此可以看出來,兩種引擎的工作方式完全不同,一個(NFA)以表達式爲主導,一個(DFA)以文本爲主導!一般而論,DFA引擎則搜索更快一些!但是NFA以表達式爲主導,反而更容易操縱,因此一般程序員更偏愛NFA引擎! 兩種引擎各有所長,而真正的引用則取決與你的需要以及所使用的語言!

編輯本段零寬斷言

用於查找在某些內容(但並不包括這些內容)之前或之後的東西,也就是說它們像\b,^,$那樣用於指定一個位置,這個位置應該滿足一定的條件(即斷言),因此它們也被稱爲零寬斷言。最好還是拿例子來說明吧:
(?=exp)也叫零寬度正預測先行斷言[2],它斷言自身出現的位置的後面能匹配表達式exp。比如\b\w+(?=ing\b),匹配以ing結尾的單詞的前面部分(除了ing以外的部分),如查找I'm singing while you're dancing.時,它會匹配sing和danc。
(?<=exp)也叫零寬度正回顧後發斷言[2],它斷言自身出現的位置的前面能匹配表達式exp。比如(?<=\bre)\w+\b會匹配以re開頭的單詞的後半部分(除了re以外的部分),例如在查找reading a book時,它匹配ading。
假如你想要給一個很長的數字中每三位間加一個逗號(當然是從右邊加起了),你可以這樣查找需要在前面和裏面添加逗號的部分:((?<=\d)\d{3})+\b,用它對xxxxxxxxxx進行查找時結果是xxxxxxxxxx
下面這個例子同時使用了這兩種斷言:(?<=\s)\d+(?=\s)匹配以空白符間隔的數字(再次強調,不包括這些空白符)
斷言用來聲明一個應該爲真的事實。正則表達式中只有當斷言爲真時纔會繼續進行匹配。

編輯本段負向零寬

如果我們只是想要確保某個字符沒有出現,但並不想去匹配它時怎麼辦?例如,如果我們想查找這樣的單詞--它裏面出現了字母q,但是q後面跟的不是字母u,我們可以嘗試這樣:
\b\w*q[^u]\w*\b匹配包含後面不是字母u的字母q的單詞。但是如果多做測試(或者你思維足夠敏銳,直接就觀察出來了),你會發現,如果q出單詞的結尾的話,像Iraq,Benq,這個表達式就會出錯。這是因爲[^u]總要匹配一個字符,所以如果q是單詞的最後一個字符的話,後面的[^u]將會匹配q後面的單詞分隔符(可能是空格,或者是句號或其它的什麼),後面的\w*\b將會匹配下一個單詞,於是\b\w*q[^u]\w*\b就能匹配整個Iraq fighting。負向零寬斷言能解決這樣的問題,因爲它只匹配一個位置,並不消費任何字符。,我們可以這樣來解決這個問題:\b\w*q(?!u)\w*\b。
零寬度負預測先行斷言(?!exp),斷言此位置的後面不能匹配表達式exp。例如:\d{3}(?!\d)匹配三位數字,而且這三位數字的後面不能是數字;\b((?!abc)\w)+\b匹配不包含連續字符串abc的單詞。
同理,我們可以用(?<!exp),零寬度負回顧後發斷言來斷言此位置的前面不能匹配表達式exp:(?<![a-z])\d{7}匹配前面不是小寫字母的七位數字。
請詳細分析表達式(?<=<(\w+)>).*(?=<\/\1>),這個表達式最能表現零寬斷言的真正用途。
一個更復雜的例子:(?<=<(\w+)>).*(?=<\/\1>)匹配不包含屬性的簡單HTML標籤內裏的內容。(?<=<(\w+)>)指定了這樣的前綴:被尖括號括起來的單詞(比如可能是<b>),然後是.*(任意的字符串),最後是一個後綴(?=<\/\1>)。注意後綴裏的\/,它用到了前面提過的字符轉義;\1則是一個反向引用,引用的正是捕獲的第一組,前面的(\w+)匹配的內容,這樣如果前綴實際上是<b>的話,後綴就是</b>了。整個表達式匹配的是<b>和</b>之間的內容(再次提醒,不包括前綴和後綴本身)。

編輯本段符號

(摘自《正則表達式之道》)
正則表達式[3]由一些普通字符和一些元字符(metacharacters)組成。普通字符包括大小寫的字母和數字,而元字符則具有特殊的含義,我們下面會給予解釋。
在最簡單的情況下,一個正則表達式看上去就是一個普通的查找串。例如,正則表達式"testing"中沒有包含任何元字符,它可以匹配"testing"和"123testing"等字符串,但是不能匹配"Testing"。
[4] 要想真正的用好正則表達式,正確的理解元字符是最重要的事情。下表列出了所有的元字符和對它們的一個簡短的描述。
元字符
描述
\
將下一個字符標記爲一個特殊字符、或一個原義字符、或一個向後引用、或一個八進制轉義符。例如,“\n”匹配字符“n”。“\\n”匹配一個換行符。序列“\\”匹配“\”而“\(”則匹配“(”。
^
匹配輸入字符串的開始位置。如果設置了RegExp對象的Multiline屬性,^也匹配“\n”或“\r”之後的位置。
$
匹配輸入字符串的結束位置。如果設置了RegExp對象的Multiline屬性,$也匹配“\n”或“\r”之前的位置。
*
匹配前面的子表達式零次或多次。例如,zo*能匹配“z”以及“zoo”。*等價於{0,}。
+
匹配前面的子表達式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等價於{1,}。
?
匹配前面的子表達式零次或一次。例如,“do(es)?”可以匹配“does”或“does”中的“do”。?等價於{0,1}。
{n}
n是一個非負整數。匹配確定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的兩個o。
{n,}
n是一個非負整數。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。
{n,m}
m和n均爲非負整數,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”將匹配“fooooood”中的前三個o。“o{0,1}”等價於“o?”。請注意在逗號和兩個數之間不能有空格。
?
當該字符緊跟在任何一個其他限制符(*,+,?,{n},{n,},{n,m})後面時,匹配模式是非貪婪的。非貪婪模式儘可能少的匹配所搜索的字符串,而默認的貪婪模式則儘可能多的匹配所搜索的字符串。例如,對於字符串“oooo”,“o?”將匹配單個“o”,而“o+”將匹配所有“o”。
.點
匹配除“\n”之外的任何單個字符。要匹配包括“\n”在內的任何字符,請使用像“[\s\S]”的模式。
(pattern)
匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中則使用$0…$9屬性。要匹配圓括號字符,請使用“\(”或“\)”。
(?:pattern)
匹配pattern但不獲取匹配結果,也就是說這是一個非獲取匹配,不進行存儲供以後使用。這在使用或字符“(|)”來組合一個模式的各個部分是很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表達式。
(?=pattern)
正向肯定預查,在任何匹配pattern的字符串開始處匹配查找字符串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。預查不消耗字符,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜索,而不是從包含預查的字符之後開始。
(?!pattern)
正向否定預查,在任何不匹配pattern的字符串開始處匹配查找字符串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。
(?<=pattern)
反向肯定預查,與正向肯定預查類似,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。
(?<!pattern)
反向否定預查,與正向否定預查類似,只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows”中的“Windows”。
x|y
匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”則匹配“zood”或“food”。
[xyz]
字符集合。匹配所包含的任意一個字符。例如,“[abc]”可以匹配“plain”中的“a”。
[^xyz]
負值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“plin”。
[a-z]
字符範圍。匹配指定範圍內的任意字符。例如,“[a-z]”可以匹配“a”到“z”範圍內的任意小寫字母字符。
注意:只有連字符在字符組內部時,並且出兩個字符之間時,才能表示字符的範圍; 如果出字符組的開頭,則只能表示連字符本身.
[^a-z]
負值字符範圍。匹配任何不在指定範圍內的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”範圍內的任意字符。
\b
匹配一個單詞邊界,也就是指單詞和空格間的位置。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
\B
匹配非單詞邊界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
\cx
匹配由x指明的控制字符。例如,\cM匹配一個Control-M或回車符。x的值必須爲A-Z或a-z之一。否則,將c視爲一個原義的“c”字符。
\d
匹配一個數字字符。等價於[0-9]。
\D
匹配一個非數字字符。等價於[^0-9]。
\f
匹配一個換頁符。等價於\x0c和\cL。
\n
匹配一個換行符。等價於\x0a和\cJ。
\r
匹配一個回車符。等價於\x0d和\cM。
\s
匹配任何空白字符,包括空格、製表符、換頁符等等。等價於[ \f\n\r\t\v]。
\S
匹配任何非空白字符。等價於[^ \f\n\r\t\v]。
\t
匹配一個製表符。等價於\x09和\cI。
\v
匹配一個垂直製表符。等價於\x0b和\cK。
\w
匹配包括下劃線的任何單詞字符。等價於“[A-Za-z0-9_]”。
\W
匹配任何非單詞字符。等價於“[^A-Za-z0-9_]”。
\xn
匹配n,其中n爲十六進制轉義值。十六進制轉義值必須爲確定的兩個數字長。例如,“\x41”匹配“A”。“\x041”則等價於“\x04&1”。正則表達式中可以使用ASCII編碼。
\num
匹配num,其中num是一個正整數。對所獲取的匹配的引用。例如,“(.)\1”匹配兩個連續的相同字符。
\n
標識一個八進制轉義值或一個向後引用。如果\n之前至少n個獲取的子表達式,則n爲向後引用。否則,如果n爲八進制數字(0-7),則n爲一個八進制轉義值。
\nm
標識一個八進制轉義值或一個向後引用。如果\nm之前至少有nm個獲得子表達式,則nm爲向後引用。如果\nm之前至少有n個獲取,則n爲一個後跟文字m的向後引用。如果前面的條件都不滿足,若n和m均爲八進制數字(0-7),則\nm將匹配八進制轉義值nm。
\nml
如果n爲八進制數字(0-7),且m和l均爲八進制數字(0-7),則匹配八進制轉義值nml。
\un
匹配n,其中n是一個用四個十六進制數字表示的Unicode字符。例如,\u00A9匹配版權符號(&copy;)。
最簡單的元字符是點,它能夠匹配任何單個字符(注意不包括換行符)。假定有個文件test.txt包含以下幾行內容:
he is arat
he is in a rut
the food is Rotten
I like root beer
我們可以使用grep命令來測試我們的正則表達式,grep命令使用正則表達式去嘗試匹配指定文件的每一行,並將至少有一處匹配表達式的所有行顯示出來。命令
grep r.t test.txt
在test.txt文件中的每一行中搜索正則表達式r.t,並打印輸出匹配的行。正則表達式r.t匹配一個r接着任何一個字符再接着一個t。所以它將匹配文件中的rat和rut,而不能匹配Rotten中的Rot,因爲正則表達式是大小寫敏感的。要想同時匹配大寫和小寫字母,應該使用字符區間元字符(方括號)。正則表達式[Rr]能夠同時匹配R和r。所以,要想匹配一個大寫或者小寫的r接着任何一個字符再接着一個t就要使用這個表達式:[Rr].t。
要想匹配行首的字符要使用抑揚字符(^)——有時也被叫做插入符。例如,想找到text.txt中行首"he"打頭的行,你可能會先用簡單表達式he,但是這會匹配第三行的the,所以要使用正則表達式^he,它只匹配在行首出現的h。
有時候指定“除了×××都匹配”會比較容易達到目的,當抑揚字符(^)出方括號中時,它表示“排除”,例如要匹配he ,但是排除前面是t or s的情形(也就是the和she),可以使用:[^st]he。
可以使用方括號來指定多個字符區間。例如正則表達式[A-Za-z]匹配任何字母,包括大寫和小寫的;正則表達式[A-Za-z][A-Za-z]* 匹配一個字母后面接着0或者多個字母(大寫或者小寫)。當然我們也可以用元字符+做到同樣的事情,也就是:[A-Za-z]+ ,和[A-Za-z][A-Za-z]*完全等價。但是要注意元字符+ 並不是所有支持正則表達式的程序都支持的。關於這一點可以參考後面的正則表達式語法支持情況。
要指定特定數量的匹配,要使用大括號(注意必須使用反斜槓來轉義)。想匹配所有10和100的實例而排除1和 1000,可以使用:10\{1,2\},這個正則表達式匹配數字1後面跟着1或者2個0的模式。在這個元字符的使用中一個有用的變化是忽略第二個數字,例如正則表達式0\{3,\} 將匹配至少3個連續的0。
例1
將所有方法foo(a,b,c)的實例改爲foo(b,a,c)。這裏a、b和c可以是任何提供給方法foo()的參數。也就是說我們要實現這樣的轉換:
之前 之後
foo(10,7,2) foo(7,10,2)
foo(x+13,y-2,10) foo(y-2,x+13,10)
foo( bar(8), x+y+z, 5) foo( x+y+z, bar(8), 5)
下面這條替換命令能夠實現這一魔法:
:%s/foo(\([^,]*\),\([^,]*\),\([^)]*\))/foo(\2,\1,\3)/g
讓我們把它打散來加以分析。寫出這個表達式的基本思路是找出foo()和它的括號中的三個參數的位置。第一個參數是用這個表達式來識別的::\([^,]*\),我們可以從裏向外來分析它:
[^,] 除了逗號之外的任何字符
[^,]* 0或者多個非逗號字符
\([^,]*\) 將這些非逗號字符標記爲\1,這樣可以在之後的替換模式表達式中引用它
\([^,]*\), 我們必須找到0或者多個非逗號字符後面跟着一個逗號,並且非逗號字符那部分要標記出來以備後用。
正是指出一個使用正則表達式常見錯誤的最佳時機。爲什麼我們要使用[^,]*這樣的一個表達式,而不是更加簡單直接的寫法,例如:.*,來匹配第一個參數呢?設想我們使用模式.*來匹配字符串"10,7,2",它應該匹配"10,"還是"10,7,"?爲了解決這個兩義性(ambiguity),正則表達式規定一律按照最長的串來,在上面的例子中就是"10,7,",顯然這樣就找出了兩個參數而不是我們期望的一個。所以,我們要使用[^,]*來強制取出第一個逗號之前的部分。
這個表達式我們已經分析到了:foo(\([^,]*\),這一段可以簡單的翻譯爲“當你找到foo(就把其後直到第一個逗號之前的部分標記爲\1”。然後我們使用同樣的辦法標記第二個參數爲\2。對第三個參數的標記方法也是一樣,只是我們要搜索所有的字符直到右括號。我們並沒有必要去搜索第三個參數,因爲我們不需要調整它的位置,但是這樣的模式能夠保證我們只去替換那些有三個參數的foo()方法調用,在foo()是一個重載(overloading)方法時這種明確的模式往往是比較保險的。然後,在替換部分,我們找到foo()的對應實例,然後利用標記好的部分進行替換,是把第一和第二個參數交換位置。
正則表達式語法支持情況
命令或環境
.
[ ]
^
$
\( \)
\{ \}
?
+
|
( )
vi
         
Visual C++
         
awk
   
sed
       
Tcl
 
ex
       
grep
       
egrep
 
fgrep
         
perl
 
C#
       
       

編輯本段替換技巧

實例目錄

【1】 正則表達式應用——替換指定內容到行尾
【2】 正則表達式應用——數字替換
【3】 正則表達式應用——刪除每一行行尾的指定字符
【4】 正則表達式應用——替換帶有半角括號的多行
【5】 正則表達式應用——刪除空行
【6】 正則表達式應用——實例應用

應用實例

【1】正則表達式應用——替換指定內容到行尾
原始文本如下面兩行
abc aaaaa
123 abc 444
希望每次遇到“abc”,則替換“abc”以及其後到行尾的內容爲“abc efg”
即上面的文本最終替換爲:
abc efg
123 abc efg
解決:
① 在替換對話框,查找內容裏輸入“abc.*”,替換內容輸入爲“abc efg”
② 同時勾選“正則表達式”複選框,然後點擊“全部替換”按鈕
其中,符號的含義如下:
“.” =匹配任意字符
“*” =匹配0次或更多
注意:其實就是正則表達式替換,這裏只是把一些曾經提出的問題加以整理,單純從正則表達式本身來說,就可以引申出成千上萬種特例。
【2】正則表達式應用——數字替換
希望把
asdadas123asdasdas456asdasdasd789asdasd
替換爲:
asdadas[123]asdasdas[456]asdasdasd[789]asdasd
在替換對話框裏面,勾選“正則表達式”複選框
在查找內容裏面輸入“([0-9])([0-9])([0-9])”,不含引號
“替換爲:”裏面輸入“[\1\2\3]”,不含引號
####備註####:查找([0-9]+) 替換:[\1] 更簡單通用些
範圍爲你所操作的範圍,然後選擇替換即可。
實際上這也是正則表達式的使用特例,“[0-9]”表示匹配0~9之間的任何特例,同樣“[a-z]”就表示匹配a~z之間的任何特例
上面重複使用了“[0-9]”,表示連續出現的三個數字
括號用來選擇原型,進行分組,替換時要用
“\1”代表第一個“[0-9]”對應的原型,“\2”代表第二個“[0-9]”對應的原型,依此類推
“[”、“]”爲單純的字符,表示添加“[”或“]”,如果輸入“其它\1\2\3其它”,則替換結果爲:
asdadas其它123其它asdasdas其它456其它asdasdasd其它789其它asdasd
功能增強:
如果將查找內容“[0-9][0-9][0-9]”改爲“[0-9]*[0-9]”,對應1 或 123 或 12345 或 ...
大家根據需要定製
相關內容還有很多,可以自己參考正則表達式的語法仔細研究一下
【3】正則表達式應用——刪除每一行行尾的指定字符
因爲這幾個字符在行中也是出現的,所以肯定不能用簡單的替換實現
比如
12345 1265345
2345
需要刪除每行末尾的“345”
這個也算正則表達式的用法,其實仔細看正則表達式應該比較簡單,不過既然有這個問題提出,說明對正則表達式還得有個認識過程,解決方法如下
解決:
在替換對話框中,啓用“正則表達式”複選框
在查找內容裏面輸入“345$”
這裏“$”表示從行尾匹配
如果從行首匹配,可以用“^”來實現,不過 EditPlus 有另一個功能可以很簡單的刪除行首的字符串
a. 選擇要操作的行
b. 編輯-格式-刪除行註釋
c. 在彈出對話框裏面輸入要清除的行首字符,確定
【4】正則表達式應用——替換帶有半角括號的多行
幾百個網頁中都有下面一段代碼:
<script LANGUAGE="JavaScript1.1">
<!--
htmlAdWH('93163607', '728', '90');
//-->
</SCRIPT>
我想把它們都去掉,可是找了很多search & replace的軟件,都是隻能對“一行”進行操作。
EditPlus 打開幾百個網頁文件還是比較順暢的,所以完全可以勝任這個工作。
具體解決方法,在 Editplus 中使用正則表達式,由於“(”、“)”被用做預設表達式(或者可以稱作子表達式)的標誌,所以查找
“<script LANGUAGE="JavaScript1.1">\n<!--\nhtmlAdWH('93163607', '728', '90'.);\n//-->\n</SCRIPT>\n”
時會提示查找不到,所以也就無法進行替換了,這時可以把“(”、“)”使用任意字符標記替代,即半角句號:“.”。替換內容爲
<script LANGUAGE="JavaScript1.1">\n<!--\nhtmlAdWH.'93163607', '728', '90'.;\n//-->\n</SCRIPT>\n
在替換對話框啓用“正則表達式”選項,這時就可以完成替換了
補充:
對( ) 這樣的特殊符號,應該用\( \)來表示,這也是很標準的regexp語法,可以寫爲
<script LANGUAGE="JavaScript1.1">\n<!--\nhtmlAdWH\('93163607', '728', '90'\);\n//-->\n</SCRIPT>\n
【5】正則表達式應用——刪除空行
啓動EditPlus,打開待處理的文本類型文件。
①、選擇“查找”菜單的“替換”命令,彈出文本替換對話框。選中“正則表達式”複選框,表明我們要在查找、替換中使用正則表達式。然後,選中“替換範圍”中的“當前文件”,表明對當前文件操作。
②、單擊“查找內容”組合框右側的按鈕,出現下拉菜單。
③、下面的操作添加正則表達式,該表達式代表待查找的空行。(技巧提示:空行僅包括空格符製表符、回車符,且必須以這三個符號之一作爲一行的開頭,並且以回車符結尾,查找空行的關鍵是構造代表空行的正則表達式)。
直接在"查找"中輸入正則表達式“^[ \t]*\n”,注意\t前有空格符
(1)選擇“從行首開始匹配”,“查找內容”組合框中出現字符“^”,表示待查找字符串必須出文本中一行的行首。
(2)選擇“字符在範圍中”,那麼在“^”後會增加一對括號“[]”,當前插入點在括號中。括號在正則表達式中表示,文本中的字符匹配括號中任意一個字符即符合查找條件。
(3)按一下空格鍵,添加空格符空格符是空行的一個組成成分。
(4)選擇“製表符”,添加代表製表符的“\t”。
(5)移動光標,將當前插入點移到“]”之後,然後選擇“匹配 0 次或更多”,該操作會添加星號字符“*”。星號表示,其前面的括號“[]”內的空格符製表符,在一行中出現0個或多個。
(6)選擇“換行符”,插入“\n”,表示回車符。
④、“替換爲”組合框保持空,表示刪除查找到的內容。單擊“替換”按鈕逐個行刪除空行,或單擊“全部替換”按鈕刪除全部空行(注意:EditPlus有時存在“全部替換”不能一次性完全刪除空行的問題,可能是程序BUG,需要多按幾次按鈕)。
【6】 正則表達式應用——實例應用
1.驗證用戶名和密碼:("^[a-zA-Z]\w{5,15}$")正確格式:"[A-Z][a-z]_[0-9]"組成,並且第一個字必須爲字母6~16位;
2.驗證電話號碼:("^(\d{3.4}-)\d{7,8}$")正確格式:xxx/xxxx-xxxxxxx/xxxxxxxx;
3.驗證手機號碼:"^1[3|4|5|8][0-9]\\d{8}$";
4.驗證身份證號(15位或18位數字):"\\d{17}[[0-9],0-9xX]";
5.驗證Email地址:("^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$");
6.只能輸入由數字和26個英文字母組成的字符串:("^[A-Za-z0-9]+$") ;
7.整數或者小數:^[0-9]+\.{0,1}[0-9]{0,2}$
8.只能輸入數字:"^[0-9]*$"。
9.只能輸入n位的數字:"^\d{n}$"。
10.只能輸入至少n位的數字:"^\d{n,}$"。
11.只能輸入m~n位的數字:"^\d{m,n}$"。
12.只能輸入零和非零開頭的數字:"^(0|[1-9][0-9]*)$"。
13.只能輸入有兩位小數的正實數:"^[0-9]+(.[0-9]{2})?$"。
14.只能輸入有1~3位小數的正實數:"^[0-9]+(.[0-9]{1,3})?$"。
15.只能輸入非零的正整數:"^\+?[1-9][0-9]*$"。
16.只能輸入非零的負整數:"^\-[1-9][]0-9"*$。
17.只能輸入長度爲3的字符:"^.{3}$"。
18.只能輸入由26個英文字母組成的字符串:"^[A-Za-z]+$"。
19.只能輸入由26個大寫英文字母組成的字符串:"^[A-Z]+$"。
20.只能輸入由26個小寫英文字母組成的字符串:"^[a-z]+$"。
21.驗證是否含有^%&',;=?$\"等字符:"[^%&',;=?$\x22]+"。
22.只能輸入漢字:"^[\u4e00-\u9fa5]{0,}$"。
23.驗證URL:"^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$"。
24.驗證一年的12個月:"^(0?[1-9]|1[0-2])$"正確格式爲:"01"~"09"和"1"~"12"。
25.驗證一個月的31天:"^((0?[1-9])|((1|2)[0-9])|30|31)$"正確格式爲;"01"~"09"和"1"~"31"。
26.獲取日期正則表達式:\d{4}[年|\-|\.]\d{\1-\12}[月|\-|\.]\d{\1-\31}日?
評註:可用來匹配大多數年月日信息。
27.匹配雙字節字符(包括漢字在內):[^\x00-\xff]
評註:可以用來計算字符串的長度(一個雙字節字符長度計2,ASCII字符計1)
28.匹配空白行的正則表達式:\n\s*\r
評註:可以用來刪除空白行
29.匹配HTML標記的正則表達式:<(\S*?)[^>]*>.*?</>|<.*? />
評註:網上流傳的版本太糟糕,上面這個也僅僅能匹配部分,對於複雜的嵌套標記依舊無能爲力
30.匹配首尾空白字符的正則表達式:^\s*|\s*$
評註:可以用來刪除行首行尾的空白字符(包括空格、製表符、換頁符等等),非常有用的表達式
31.匹配網址URL的正則表達式:[a-zA-z]+://[^\s]*
評註:網上流傳的版本功能很有限,上面這個基本可以滿足需求
32.匹配帳號是否合法(字母開頭,允許5-16字節,允許字母數字下劃線):^[a-zA-Z][a-zA-Z0-9_]{4,15}$
評註:表單驗證時很實用
33.匹配騰訊QQ號:[1-9][0-9]\{4,\}
評註:騰訊QQ號從10 000 開始
34.匹配中國郵政編碼:[1-9]\d{5}(?!\d)
評註:中國郵政編碼爲6位數字
35.匹配ip地址:((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。
評註:提取ip地址時有用
Function IsRegu(Regu,s)
'正則表達式校驗
If Regu="" Then
Exit Function
End if
Dim Re,Sre
Set Re = New RegExp
Re.Pattern = Regu
Sre = Re.Test(s)
If Sre = True Then
IsRegu = True
Else
IsRegu = False
End If
End Function
tmp=" "
if (IsRegu("\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*",tmp )) =false then
msgbox "E-mail地址不合法 !"
FieldCheck#N=false
end if
不同的語言(如PHP和JAVA)、相同語言的不同類庫(如來自Sun的Java Regular Expression類庫跟Apache Jakarta的正則表達式類庫)間,用法會有所差別,在使用的時候,要注意這些差別。

驗證URL

function IsValidUrl(str) {[5]
var regu = "^(https?://)"
  + "?(([0-9a-z_!~*'().&=+$%-]+: )?[0-9a-z_!~*'().&=+$%-]+@)?"
  + "(([0-9]{1,3}\.){3}[0-9]{1,3}"
  + "|"
  + "([0-9a-z_!~*'()-]+\.)*"
  + "([0-9a-z][0-9a-z-]{0,61})?[0-9a-z]\."
  + "[a-z]{2,6})"
  + "(:[0-9]{1,4})?"
  + "((/?)|"
  + "(/[0-9a-z_!~*'().;?:@&=+$,%#-]+)+/?)$";[5]
  var re = new RegExp(regu);
  if (!re.test(str)) {
  return false;
  }
  return true;
  }

編輯本段啓示

(1) 心中時刻保持新穎想法,嘗試用各種新辦法來解決遇到的問題。對於遇到的問題,在用常規的解決思路無法解決或不能很好解決的時候,可以大膽探索嘗試採用新的方法或思路來解決問題,說大點就是創新!沒有新思路估計今天的正則表達式還要等幾百年才能露現人間。
(2) 善於學習和借鑑前人的經驗和成果,UNIX鼻祖Ken Thompson是什麼樣子的人?是被計算機界尊稱爲“UNIX之父”的大師級別的人物,大師都在不斷思考從其它學科、其它知識領域的工作成果,來改進自己的工作或程序,事實也證明這樣做取得巨大結果和後來的深遠影響是事先誰也無法預估到的,我們在做一些事情或研究的時間,是否也考慮學習大師的優秀習慣?
(3) 學好數學、英語並保持對數學、英語的興趣,數學也是人類幾千年積累的智慧結晶,學習數學知識可以培養和訓練人的思維能力。看這篇文章的朋友,我想很多都是計算機相關專業的朋友,至於數學和英語對於計算機學習和發展的重要性的道理,這裏就不在多說,重在實踐加持之以恆!
(4) 養成獨立思考的習慣。上學時候老師經常說人與動物的最大區別是人能思考。拉美洲有句關於“思考”的諺語是,不會思考的人是白癡,不肯思考的人是懶漢,不敢思考的人是奴隸。我想大家和我一樣,既不願做懶漢、奴隸,更不願做白癡。所以相信正則分享網的朋友們一定會選擇做一個“會思、肯思、敢思”的人。
(5) 當正則表達式和字符串函數都能解決問題時,一定要使用字符串函數,這樣不容易出錯,最重要的是字符串函數比正則表達式實現性能上要好得多。[1]

編輯本段教程

正則表達式教程chm完整版是一本詳細介紹了正則表達式的電子書教程,全書共分爲8個小節,詳細的講述了正則表達式的定義,各種操作符的運算優先級,全部符號解釋,正則表達式匹配規則,參考文獻以及相關實例等,全書簡明扼要,能夠很好的幫助讀者們正確常握學習好正則表達式,從而在軟件編程中得到更好的發揮。[6]
參考資料
相關文獻
http://baike.baidu.com/view/94238.htm

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章