文本摘要(text summarization)二: 經驗模型(lead3,keyword,nous-base)

一、文本摘要(Document Summarization)

        文本摘要,一般地我們會把它分成抽取式文本摘要和生成式文本摘要。就目前的形勢而言,工業界應用廣泛的還是抽取式文本摘要。抽取式文本摘要的優點很多,主題不易偏離、適應性廣、速度快。

        抽取式文本摘要,最最傳統的方案,無疑便是Lead3算法了。

        github如下:https://github.com/yongzhuo/nlg-yongzhuo/tree/master/nlg_yongzhuo/text_summarization/extractive_sum/nous_base

二、Lead3

        Lead3,顧名思義,就是最開始的3個句子,很有意思,就這一個超級簡單的算法,就能達到很好的效果,例如bertsum中的測評結果,已經接近Transformer了:

        我代碼獲取的是top2以及最後1句。

        代碼地址: https://github.com/yongzhuo/nlg-yongzhuo/blob/master/nlg_yongzhuo/text_summarization/extractive_sum/nous_base/lead_3/lead_3.py

三、keyword

        keyword,包括word_significance,思想是抽取最有意義的詞語。把關鍵詞和句子順序兩盒起來,具體就是先遍歷關鍵詞,再順序遍歷句子,直到找到出現的第一個句子,然後刪掉該句子,繼續遍歷。

        代碼地址:https://github.com/yongzhuo/nlg-yongzhuo/blob/master/nlg_yongzhuo/text_summarization/extractive_sum/feature_base/word_significance%20.py

 

希望對你有所幫助!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章