作者 | Ziling Huang、Zheng Wang、Wei Hu、Chia-Wen Lin、Shin’ichi Satoh
譯者 | 劉暢
編輯 | Jane
出品 | AI科技大本營（ID：rgznai100）
【導讀】目前，大多數行人重識別（ReID）方法主要是從收集的單個人圖像數據庫中檢索感興趣的人。在跨攝像頭的監控應用中，除了單人ReID任務外，匹配一組行人（多個人）也起着重要的作用。這種組重識別（GReID）的任務非常具有挑戰性，因爲它不僅面臨着單個人外觀的變化，還有組的佈局和成員身份變化也會帶來更多困難。爲了獲得組圖像的魯棒表示，本文設計了一種域遷移圖神經網絡（DoT-GNN）方法。
DoT-GNN方法主要包括三個方面：
（1）類型遷移（Transferred Style）：由於缺少訓練樣本，我們將標記的ReID數據集遷移爲G-ReID數據集樣式，並將遷移的樣本提供給深度學習模型。利用深度學習模型的優勢，本文得到了可區分的個體特徵模型。
（2）圖生成（Graph Generation）：本文將每個組視爲一個圖，其中每個節點表示單個行人的特徵，每個邊沿表示幾個個體之間的關係。本文提出了一種圖生成策略來生成足夠的圖樣本。
（3）圖神經網絡：本文利用生成的圖樣本來一個訓練GNN，以獲取針對大型圖變化具有魯棒性的圖特徵。DoT-GNN成功的關鍵在於，遷移的圖解決了外觀變化的問題，而GNN中的圖表示克服了組佈局和單個成員變化的問題。大量的實驗結果證明了本文方法的有效性，與最優方法（SOTA）相比，本文方法在Road Group數據集上高1.8％CMC-1，在DukeMCMT數據集上高6.0％CMC-1。
圖1：圖解GReID任務及其挑戰。分別用紅框、藍框、綠框表示的行人會在一組人中變化他們的位置。用紫框表示的行人會加入該組。用黃框表示的行人離開了該組。除了外觀變化的挑戰之外，GReID還會帶來組佈局和成員的改變。
行人重識別（ReID）由於其廣泛的應用（例如監控）而備受關注。現有的研究主要集中於針對個人的行人重識別，而同時搜索特定人羣的研究相對較少。實際上，在街道上一羣人一起走動是很普遍的現象。如圖1所示，一羣人從攝像機A的視野走到攝像機B的視野。系統需要一種算法來重識別跨不同攝像機的一羣人（稱爲Group ReID或G-ReID）。實際上，G-ReID在日常生活中變得越來越重要，這是對單人ReID的補充。
與單獨的ReID不同，G-ReID的目標是將不同攝像機視圖下的特定組相關聯。除了單個ReID的傳統挑戰（例如低分辨率，姿勢變化，照明變化和視覺模糊）之外，G-ReID還具有其自身的獨特挑戰。如圖1所示，當組從攝像機A移到攝像機B時，1）人們改變了他們在組中的位置（稱爲組佈局更改），2）一些人動態加入並離開了組（稱爲組成員資格更改）。也就是說，G-ReID是一個更具挑戰性的任務，因爲一個組具有可變形的特徵。因此，將組作爲一個整體來處理並提取其全局或半全局特徵可能做不好，因爲組的佈局和成員資格變化會極大地改變組的視覺表徵內容。
當一個小組由幾個人組成時，其表示可以是個人及其關係表示的組合。這啓發作者使用圖來構造整個表示。作者選擇採用無向圖來表示組圖像中的成對對稱關係，並利用圖神經網絡（GNN）模型來標識圖ID。通過表示圖中各個行人之間的關係，GNN能夠通過圖卷積（即在相鄰節點之間傳遞消息）來提取組特徵。此外，GNN能在圖上提供每個組裏面關係的靈活表示，適於解決組佈局更改和成員資格更改的問題。
爲了更詳細的瞭解清楚GReID任務的難點。作者列出了一個表格來詳細說明。如下表格所示。
作者提出了一種用於組重識別的域遷移圖網絡模型，利用GNN學習組特徵並識別相應的組。總而言之，主要有以下三個貢獻：
1、利用圖表示和建模的思想來解決G-ReID的不規則性問題。據我們所知，我們是第一個針對G-ReID提出基於GNN框架的人。儘管深度學習模型具有其優勢，但尚未有針對G-ReID提出有效的深度學習模型，更不用說具有遷移學習功能的深度GNN了。
2、本文提出了一種域遷移圖節點構造方法和兩種分組策略來保存和更改組成員身份，用以克服在訓練數據非常有限的情況下個人外觀和G-ReID成員身份更改帶來的問題。圖的構建過程得益於遷移的圖節點。
3、在G-ReID的兩個數據集DukeMTMC Group和Road Group上，證明了本文方法的有效性。
方法
框架
本文所提出的框架如圖2所示，其中包括了訓練步驟和測試步驟。在訓練步驟中，該框架包括一個域遷移模型，該模型負責將源域的個體圖像遷移到其對應的目標域的圖像；一個圖生成器，它用遷移後的單圖表示來構建圖樣本池作爲節點，並在圖樣本池上訓練一個GNN模型去對組ID進行分類。
在測試步驟中，本文通過GNN模型對待檢測圖像p和圖庫圖像G提取特徵，然後計算待檢索特徵與圖庫特徵之間的距離，以便根據距離去重識別組ID。
域遷移模型
由於G-ReID圖像集合中組數量非常有限，因此僅基於這些數據本身直接訓練一個網絡十分困難。爲了學習更好的表示，我們應該利用外部信息。目前有大量的ReID數據集，且能有較好的針對單體圖像的特徵表示。但是由於現有的ReID數據集和目標G-ReID圖像的獲取條件不同，它們之間的域gap會顯著降低表示學習的性能。
於是，本文提出了學習ReID數據集S到G-ReID數據集T之間的映射函數，這樣生成的數據集T(S)與T的分佈不會有差異。這樣由CNN提取的域遷移個體特徵就能用於圖構建。
圖生成器
我們可以從相鄰的組成員那裏獲得更多有用的信息。在本文的工作中，每個組圖像均以圖表示，以表徵行人的相互和全局關係。圖中的每個節點代表組中的一個人，兩個節點之間的邊表示兩個人之間的親密關係，這是通過兩個人的特徵之間的相似度（基於預定義的相似性度量）來衡量的。如果使用圖來表示組圖像，則可以基於圖之間的相似性度量來搜索目標組。
在本文中，作者使用GNN來表示圖特徵用以測量圖相似度。爲了訓練GNN，作者使用了域遷移節點來構建圖樣本池。對一個圖，它包含多個節點、多條邊和對應的標籤。本文的圖生成器會採用兩種策略來構造圖樣本，即成員資格保留組和成員資格可變組。
成員資格保留組（Membership-preserving grouping）
本文使用遷移的圖特徵來代替圖樣本。如果兩個組圖像包含相同的成員，則將這兩個圖像標記爲同一組。當然，從一個攝像頭到另一個攝像頭，組的佈局可能會發生變化，本文使用無向圖來解決佈局和外觀變化的問題。
因此，作者提出了一種保留成員資格的分組策略，針對圖像類Lx，作者首先隨機選取一些人作爲其成員。然後，針對每一個成員，再隨機選擇一個與其相關聯的節點。第三，不同成員的節點共同構成一個圖樣本，並且計算兩個節點之間的權重作爲邊。
成員資格可變組(Membership-varying grouping)
如上所示，組的成員也有可能會發生改變。這意味着對應於相同標籤的圖樣本，可能會包含彼此不完全相同的節點。因此本文計算了兩個圖樣本之間的成員相似度比率，該比率的定義是兩個圖的節點來自同一個公共組成員的百分比。如果兩個組有相似的相似度比率。則可以認爲它們共享相同的組ID。
實驗
數據和實驗數據
使用DukeMTMC Group和Road Group兩個公共數據集。域遷移模型使用的是CycleGAN，GNN模型使用的是半監督圖網絡的源代碼，圖生成器的設定是組最大人數15，閾值0.1。
實驗對比
消融實驗對比
其中Tr.表示域遷移模型，S1表示成員資格保留組策略，S2表示成員資格可變組策略，GNN表示圖網絡。
總結
在本文中，作者解決了一個重要但研究較少的問題：組重識別。本文提出使用圖節點生成（遷移），成員資格保留組和成員資格更改組來分別克服組重標識中的三個主要挑戰：訓練數據不足，佈局和外在更改以及成員資格導致的佈局更改。本文還提出了一種圖網絡，用以學習和提取構造圖的組特徵表示，以便更好地識別其組ID。實驗結果表明，我們的方法優於現有的最新方法。
（*本文首發於「AI科技大本營」微信公衆號，更多幹貨內容請在公衆號查看。轉載請聯繫微信1092722531）