簡介
本文提出了一種用於多模態學習的超圖注意力網絡，作者來自Kakao公司和首爾大學。
Kakao公司的主要產品是Kakao talk，類似於國內的微信，且騰訊是其第二大股東。
Kakao Brain這個團隊比較出名的是在NeurlPS2019上的Fast autoaugment這篇文章，大家可以關注一下。
下載鏈接
Kakao團隊的視頻講解。
動機
不同模態信息的level是不同的，也就是不同模態之間存在gap。
現有的多模態學習方法：1. 將不同模態的數據，經過預處理、預訓練後，得到特徵向量。2. 將不同模態的特徵向量集成到公共向量空間。3. 添加一個problem-specific模塊。這樣做的弊端是：不同模態的特徵，重要性相同。
貢獻
- 使用符號圖作爲多模態學習的公共語義空間。
- 提出HANs（Hypergraph Attention Networks，超圖注意力網絡），考慮結構相似度（高等級語義相似度）構造co-attention。
- 在GQA數據集上由54.6%提升至61.88%。
方法
本文方法的整體框架如圖所示，用符號圖定義不同模態之間的公共語義空間，並根據語義空間中所構造的co-attention map提取不同模態的聯合表示。
從上圖中可以看出，方法分爲3個部分，分別是Sec 3.1 構造符號圖（Constructing Symbolic Graphs）、Sec 3.2 構造超圖（Constructing the Hypergraphs）、Sec 3.3 生成Co-attention（Building Co-attention Maps between Hypergraphs）和Sec 3.4 獲得最終表達（Getting Final Representations）。
Sec 3.1 構造符號圖。對於Image，使用[14]獲得場景圖（CVPR2015）。對於text，使用Spacy library獲得依賴樹。
Sec 3.2 構造超圖。生成超圖的過程，使用隨機遊走算法。初始node隨機選擇，然後根據轉移矩陣進行隨機遊走。注意，作者把每一個sub-graph也叫作hyperedge（超邊）。
Sec 3.3 生成Co-attention。對兩個超圖中的超邊，計算相似度，得到co-attention。相似度計算方法採用低秩雙線性池化（low-rank bilinearpooling method，主要用於特徵聚合）。
Sec 3.4 獲得最終表達。這部分使用雙線性操作（bilinear operator），作者用了兩種方法：BAN（NIPS2018）和MFB（TNNLS2018），並在實驗部分做了對比。
實驗
下表是在GQA數據集上的實驗結果
