Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations

Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning            over Few-Shot Relations2019 EMNLP

Idea:該論文利用meta-learning從高頻關係實例中學得參數,然後快速應用於few-shot關係推理中。

該QA問題被定義爲:一個三元組的query被定義爲,其中e代表源實體,r代表關係類別,目的是從知識圖譜中找到目標實體。例如:“What is the nationality of Mark Twain” 被形式化爲 (Mark Twain; nationality; ?)  → target entity :America

multi-hop reasoning:(Mark Twain; nationality; ?) 的答案不能從單一實例中得出,需加以推理。

multi-hop explainable paths:(Mark Twain; born-In; Florida) ^(Florida; located-In; America)

few-shot:從真實數據集中觀察得出,其知識圖譜的構建類別很不均衡,有長尾問題。從而引入few-shot learning來解決這一問題。

Problem Formulation

將該問題定義爲:,其中前兩個集合分別代表實體和關係集合。目的是求得。K被設置成超參數,小於K則爲few-shot關係類,反之則爲正常關係類。最後目標是預測出目標實體和推理路徑。

 

Model

模型的主要目的是在正常關係類別上訓練出一個好的參數,然後將其作爲一個好的起點應用於few-shot關係類別上。

該Meta-KGR模型可以被分成兩個部分(1)relation-specific learning:旨在通過強化學習來找到目標實體和推理路徑。(2)meta-learning:旨在基於(1)學習到的參數快速的解決few-shot關係。

Relation-Specific Learning

Reinforcement Learning Formulation

rq代理從源實體起去尋找目標實體:

statest時刻的狀態被定義爲

Actions基於當前狀態st,action空間包括可能的邊關係和t+1時刻的當前實體。

Transition在t時刻,當代理做出了action。狀態會改變爲。Transition函數被定義爲

當達到設置的步驟數後,會產生最終狀態

Rewards當最終停止在目標實體上 = 1,否則是一個概率

Policy Network

基於狀態如何做出選擇,該模型考慮任務上的所有搜索歷史。

,最後網絡輸出被定義爲在所有狀態上的一個分佈:

 

Meta-Learning

對於當前參數θ,將其遷移到新的任務上:

其中Ds爲新任務上支持集合。在將學到的參數應用於新任務上的查詢集合上用於更新參數θ。

至此更新後的參數θ可以作爲某個few-shot關係類別的起始參數了。

 

 

 

                                         

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章