CRF++ Source code reading experience

讀了CRF++源碼,總結如下幾點

1,實現的是linear-chain結構

2,感覺對樣例的表示方式不如maxent靈活,可以看看suit的實現

3,TaggerImpl存儲訓練樣例,x存儲相應的output序列,result存儲相應的狀態序列,answer存儲模型算出來的狀態序列;爲了實現多線程併發處理,另外存儲了處理該TaggerImpl的線程thread_id_;output序列中的每一個token都對應一個feature集合,整個output序列對應了feature集合的序列,系統將所有訓練樣例的feature集合順序存儲在一個feature_cache中,因此在每一個TaggerImpl中保存了自己的feature序列在feature_cache中偏移量feature_id_,而這個feature_cache存在於FeatureIndex對象中。系統中所有的TaggerImpl都共享一個FeatureIndex對象;爲了DP編程的方便,又包含一個Node二維數組,橫軸對應output中的每一個token,縱軸代表系統狀態集合中的每一個狀態。

4,Node存儲DP中的每一個狀態,包括alpha,beta,verterbi路徑前驅等。

5,與maxent不同的是在buildfeature的時候,系統會爲每一個<obeservation,state>狀態創建feature,這裏的state包括unigram和bigram特徵,而不管他們是否在訓練數據中出現過。

6,所有的observation從training data中提取,然後存儲在feature_cache的dict中,這個dict的結構是observation->pair<observationId,count>,最後observationId的最大值就是模型所有參數的個數。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章