中文分詞算法工具hanlp源碼解析


詞圖

 

詞圖指的是句子中所有詞可能構成的圖。如果一個詞A的下一個詞可能是B的話,那麼A和B之間具有一條路徑E(A,B)。一個詞可能有多個後續,同時也可能有多個前驅,它們構成的圖我稱作詞圖。

需要稀疏2維矩陣模型,以一個詞的起始位置作爲行,終止位置作爲列,可以得到一個二維矩陣。例如:“他說的確實在理”這句話

 

 圖1.JPG

圖詞的存儲方法:一種是的DynamicArray法,一種是快速offset法。Hanlp代碼中採用的是第二種方法。

1、DynamicArray(二維數組)法

在詞圖中,行和列的關係:col爲n 的列中所有詞可以與row爲n 的所有行中的詞進行組合。例如“的確”這個詞,它的col =5,需要和它計算平滑值的有兩個,分別是row =5的兩個詞:“實”和“實在”。但是在遍歷和插入的時候,需要一個個比較col和row的關係,複雜度是O(N)。

2、快速offset

一個一維數組,每個元素是一個單鏈表“的確”的行號是4,長度是2,4+2=6,於是第六行的兩個詞“實/實在”就是“的確”的後續。

同時這種方法速度非常快,插入和查詢的時間都是O(1)。

 

圖2.JPG

Hanlp核心詞典:

 

圖3.JPG

最短路徑算法—viterbi(動態規劃路徑)

圖4.JPG 


Frequency:核心詞典中的詞頻

nTwoWordsFreq:共現詞頻

intMAX_FREQUENCY= 25146057

double dTemp =(double) 1 / MAX_FREQUENCY +0.00001

dSmoothingPara =0.1

Viterbi最短路徑有向圖

圖5.JPG 


1、計算過程從上至下,根據計算出的權重值變更前驅結點,保證前驅結點唯一(動態規劃路徑)

2、計算結束後,從最後一個結點開始取出term,依次取出該結點的前驅結點即可分詞結果:理,在,確實,的,說,他

 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章