【MEDICAL】Attend to Medical Ontologies: Content Selection for Clinical Abstractive Summarization

任務:

  據作者說,英文的醫療影像報告同時具有兩個描述,一個是FINDINGS,闡述了整個圖像的細節與特點,還有一個是IMPRESSION,只重點描述圖像中的關鍵信息,這些關鍵信息是包含在FINDINGS裏面的。總之,本篇論文做的就是利用這個FINDINGS來生成IMPRESSION,即在文本摘要在醫療領域的應用。

模型:

                        

Content Selector:

這個選擇器採用序列標註的形式來實現,整個FINDINGS序列的每個詞有0,1兩種標註。如果當前這個詞是醫療專有實體,並且他在對應的IMPRESSION出現過了的話,那就把這個位置標註爲1,否則標註爲0。這樣學出來一個模型,在測試集上面就可以用來標註FINDINGS,並且選出一些關鍵的醫療專有實體。

然後看到圖

左邊是encoder,encoder裏面的上面那個lstm用來encoder整個FINDINGS,得到每個位置的編碼hi,然後下面那個lstm用來encoder Content Selector選取的關鍵醫療專有實體。醫療專有實體的這個LSTM得到最終一個hl0的向量,這個向量代表着當前這個FINDINGS裏面所有顯著的醫療專有實體的信息。然後用這個信息融合到上面那個編碼FINDINGS的LSTM中,得到每個位置的一個新的向量:

                                           

hi是上面LSTM每個位置的輸出, hl0是下面LSTM最後一個位置的輸出。融合起來,然後和之前每個位置的輸出做element-wise的乘法操作,即第二個公式的這個圓圈。融合之後的hi'與最後decoder每個位置坐attention,用來引導decoder的生成。

讀後總結:

整篇paper的模型其實不難,依舊是老套的seq2seq的基礎架構,並且用的是lstm ecoder和lstm decoder的模式。唯一的亮點就是Content Selector的時候用到了序列標註的思想,這個有點類似於copy機制,但又不是在最後一步修改分佈。整篇論文只做了一個這樣小的改動,然後能夠論證他真的有效果,就可以了。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章