正則表達式引擎的構建——基於編譯原理DFA(龍書第三章)——1 概述

說明:本系列文章介紹的算法均來自編譯原理(龍書)一書,如果讀者對代碼沒有興趣,只想瞭解算法思路,完全可以閱讀龍書相關章節內容,比我講得清晰透徹。


序:

    啃編譯原理半年以來,任然徘徊在前4章,其間反反覆覆,時而不求甚解,時而略有所悟。後來接觸到正則表達式,對其實現原理頗有興趣,於是百度之、谷歌之,以求解惑。


先是搜索到不少國內發表的學術論文和各位大俠博客上的文章,後又通過文章鏈接中的鏈接找到一篇不錯的老外寫的文章,並附有源碼,看完了其文章,基本上和編譯原理(龍書)中介紹的先從正則表達式構造NFA,再將NFA轉化爲DFA,最後在優化、化簡DFA的思路一樣。而我在下載其代碼後稍微看了一些片段,試運行了一下發現代碼寫的有BUG,內存釋放有問題,略覺不爽。於是便想自寫一個玩玩,但如若還按照從正則表達式到NFA,再從NFA到DFA的過程,又覺得重複別人的老路,參考別人的代碼頗無趣味。

老外的文章和代碼下載地址在這裏:http://www.codeproject.com/Articles/5412/Writing-own-regular-expression-parser


於是翻看龍書第三章後半部分,看到有直接從正則表達式構造得到DFA的算法過程。覺得可以一試,於是就有了這篇系列文章,有了2個來星期的1000多行代碼(含空行^_^)。


根據正則表達式構造最小DFA的過程,總結如下:

1 根據正則表達式構造抽象語法樹T。

2 從T的根節點開始,進行深度優先遍歷,對每一個節點計算該節點的4個函數:nullable, firstpos, lastpos, followpos。

3 從T的根節點N0開始,構建狀態集列表LIST,開始時狀態集鏈表LIST中只包含firstpos(N0)。

4 遍歷LIST中的各個元素(開始的時候LIST中只有一個元素),假設當前遍歷到第i個元素,LIST(i)是一個集合,集合中每個節點對應的輸入字符是不一樣的,按照輸入字符對節點進行分組(例如代表字符a的分在一個組中,代表字符b的分在另一個組中),對每個組中各個節點K計算followpos(K),followpos(K)也是一個集合,K可能不止一個,得到的結果可能是多個集合,將這多個集合合併爲一個集合S。如果這個集合S在LIST中還沒有出現過,則將這個集合S加入到LIST中。同時,不管S是否在LIST中出現過沒有,都需要記錄下轉換過程:LIST(i)經過某個字符(前面分組過程依據的字符)到達集合S。就這樣一邊處理LIST鏈表,一邊記錄轉換過程,直到LIST中的元素依次從頭到尾都被處理完畢。

最後得到的LIST鏈表和所有轉換過程記錄就構成了一個有向圖,實質上就是一個DFA(確定性有窮狀態自動機)。

5 對得到的DFA進行最小化處理。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章