零樣本學習綜述 Zero-Shot Learning（二）：基於知識圖譜的零樣本學習 (Graph-based Zero-Shot Learning)

現有的視覺圖像分類、目標檢測、場景識別等技術大多基於監督學習，這些方法和技術需要進行大量的數據標註工作，對有標籤的數據集進行人工智能算法的訓練，得到相應的算法模型。但是僅僅是人類可識別的物體種類大約就有 3 萬類，並且在不同場景下物體的狀態不同，所得到的數據量及其龐大，要對如此多的圖像進行類別數據標註極其費力。與此同時生活中的物體種類、生活場景等也在不斷增長，數據也在不斷增多，如何處理標註數據完全缺失的情景，是人們急需解決的一個問題，，在現實需求和技術發展的推動下，零樣本學習逐步成爲一個熱門的研究方向。

零樣本學習定義見：零樣本學習綜述 Zero-Shot Learning（一）：定義

知識圖譜是人工智能的重要一環，以圖作爲數據結構，節點和關係作爲基本組成單元，對客觀世界中的概念、實體、關係進行描述。知識圖譜技術將海量的信息構成接近人類推理習慣的圖結構網絡，爲機器理解世界提供了提供了一種更好的組織、管理和理解信息的能力。

識別零樣本任務中的未見類別需要藉助大量的輔助信息，知識圖譜爲其提供了天然的語義輔助信息和結構關聯信息，藉助於知識圖譜技術有利於提升現有零樣本學習的效果。本文對近三年的三篇藉助知識圖譜處理零樣本圖像分類任務的論文進行概述和理解，這三篇文章分別發佈在 CVPR 2018、CVPR 2019、AAAI 2020.

---

基於語義詞嵌入和知識圖譜的零樣本識別 CVPR 2018

文章鏈接：Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs

在這篇論文中，作者引入了圖卷積網絡 GCN（圖卷積網絡介紹見：圖卷積網絡 Graph Convolutional Networks），並提出了一種使用語義詞嵌入和類別關係來預測分類器的零樣本圖像識別方法。文中給定了一個知識圖譜，每個圖像的類別作爲圖中的一個節點，這些圖像類別的層級關係作爲關聯的邊。訓練模型時，將節點的語義嵌入作爲輸入，經過6層圖卷積網絡後，預測了每個類別的分類器。在訓練過程中，通過給定的可見類別的分類器，學習 GCN 的模型參數。在測試時，GCN模型用於預測未見類別的分類器。該方法與前人的工作結果相比，可以顯著提高性能，在某些指標上可以提供2-3％，在少數指標上效果提升可達到20％。下面對該方法進行詳細描述：

1. 圖譜的構建
   該文章主要對兩個數據集進行了測試分別爲NELL，NEIL datasets和 WordNet，ImageNet。其中NEIL數據集提供原始圖像數據，NELL數據集提供常識知識規則，構成知識圖譜。同樣的ImageNet數據集提供原始圖像數據，WordNet提供常識知識規則，構成知識圖譜。
2. 圖像特徵提取與分類器權重標籤生成
   文章中基於 GCN 預測的圖像分類器是基於預訓練卷積網絡圖像特徵的邏輯迴歸模型。作者通過使用卷積網絡提取圖像特徵，並對特徵進行邏輯迴歸分類，將可見的有標籤的訓練集圖像類別對應的邏輯迴歸分類器權重參數作爲後續GCN網絡預測的輸出，即GCN網絡負責預測每個類別的邏輯迴歸分類器。文中涉及的卷積網絡有：Inception-v1、ResNet-50、AlexNet。
3. 使用GCN進行零樣本學習
   如下圖所示，以每個類別名稱的詞嵌入（Word Embedding）作爲圖卷積網絡的輸入，經過6層網絡訓練得到每個類別的分類器權重作爲輸出，基於已知圖像類別的分類器權重標籤學習網絡模型，學習得到每個類別的分類器。
4. 零樣本預測
   通過預訓練的卷積網絡得到測試集圖像的圖像特徵，經過上一步學到的分類器計算出屬於每個類別的概率。
   

實驗結果：
ImageNet 數據集的實驗結果：

---

零樣本學習中知識圖傳播的再思考 CVPR 2019

文章鏈接：Rethinking knowledge graph propagation for zero-shot learning

這篇文章基於 CVPR 2018 年的 Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs 一文進行了改進。作者認爲深層的 GCN 網絡會導致過度的拉普拉斯平滑，使得各節點的特徵趨於相同，在上一篇文章中的 6 層 GCN 網絡，對節點特徵進行了過度平滑，降低了模型的性能。但是淺層的 GCN 模型又不能夠將距離較遠的節點特徵和當前節點進行關聯，未解決上述兩個問題，作者對模型進行了改進：

1. 減少神經網絡層數，將 GCN 限制爲 2 層；
2. 修改知識圖譜結構，將一些節點的祖先節點和子孫節點直接與該節點相連，生成新的密集圖譜，根據距離的遠近生成權重參數，如下圖所示。上一篇文章中爲層級結構的樹狀圖，每個物種屬於包含它的大類，同時包含屬於它的小類。

對新生成的密集知識圖譜，作者提出了新的 GCN 傳播模式 DGP，如下圖所示。根據鄰接頂點在圖譜中所處的層級位置，該模型將圖神經網絡傳播模式分爲前項和後項，即對於該節點在圖中的祖先節點和子孫節點採用不同的處理模式，下式中$A_a$和$A_d$分別表示該節點的祖先節點關聯矩陣和子孫節點關聯矩陣。

其他處理模式和第一篇文章保持一致。

實驗結果：
在 ImageNet 數據集上實驗結果如下：

---

基於屬性傳播網絡的圖零樣本學習 AAAI 2020

文章鏈接：Attribute Propagation Network for Graph Zero-shot Learning

該文章與上述兩篇文章不同，作者沒有直接使用現有的 WordNet 作爲知識圖譜的基礎，而是通過語義詞嵌入，根據語義的差距生成了適用於屬性傳播網絡 APNet 的語義知識圖譜。並且和上述文章中將模型分爲兩個階段不同，作者提出了一種端到端的生成圖譜以及傳播預測機制。整體框架如下圖所示：

下面對方法進行詳述：
屬性傳播的管道。一。初始化節點特徵：不同類的屬性向量用不同顏色的點表示。每個屬性向量都與來自相應類的一些圖像相關聯。傳播圖上的節點特徵通過使用來自（Zhang和Shi 2019）的專家模塊轉換屬性來初始化。2。確定圖的邊：如果傳播圖上的兩個節點的特徵向量之間的相似度超過預先確定的閾值，則它們通過一條邊連接。三。圖上的傳播：節點特徵通過注意機制傳播。四。零鏡頭預測：傳播後，在傳播的上下文感知/結構感知屬性表示和查詢圖像特徵表示之間學習相似度度量。將傳播後的屬性向量與嵌入到屬性空間中的查詢圖像的相似度最大的類作爲預測類。

1. 初始化圖譜節點的特徵
   將各種類別作爲圖譜的頂點，使用Zhang and Shi 2019 的模型初始化節點的特徵表示，對每個類頂點 $y$ 有初始化頂點特徵表示$X^0_y$：
   
   其中 $s_y$ 是給定的輔助信息，即對每個頂點的類別名稱的詞嵌入。通過k-mean聚類算法將所有的詞嵌入進行聚類得到類屬性空間的形心矩陣C，$C_i$ 是第i個形心向量，$\Theta_i$是線性變換函數。

2. 生成圖譜的邊
   作者提出了根據頂點特徵表示、基於注意力機制的圖譜邊生成方法，對每一對節點進行相似性度量，圖譜中的邊集合爲：
   
   其中 $a(\cdot,\cdot)$ 是相似性度量函數，$f(\cdot)$ 是可學習變換函數，$\epsilon$是邊連接的閾值。特徵表示可視化如下圖所示：

3. 屬性傳播
   基於構造的圖譜，採用注意機制，通過頂點的關聯關係進行屬性特徵表示的雙向傳播，如下圖所示：
   
   每一次迭代傳播，對當前節點的相鄰節點特徵表示進行加權求和，得到迭代的新表示：
   
   其中

4. 類別預測
   使用注意力機制進行預測，圖像特徵 $x$ 和類別 $y$ 之間的相似性爲：
   

實驗結果：

文章使用的測試集和實驗結果如下所示：

---

上述三篇文章引入了知識圖譜的概念，圖結構數據從簡單的樹形層級結構，修正爲較爲稠密的祖先、子孫節點關聯結構，再發展爲通過語義詞嵌入向量生成關聯邊結構。研究人員通過對圖結構數據的挖掘不斷提升零樣本學習的性能。

參考文獻：

[1] Wang X, Ye Y, Gupta A. Zero-shot recognition via semantic embeddings and knowledge graphs[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 6857-6866.
[2] Kampffmeyer M, Chen Y, Liang X, et al. Rethinking knowledge graph propagation for zero-shot learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 11487-11496.
[3] Liu L, Zhou T, Long G, et al. Attribute Propagation Network for Graph Zero-shot Learning[C]//Thirty-Fourth AAAI Conference on Artificial Intelligence. 2020.