CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose Estimation
Official Code: pytorch
1.重新劃分人體姿態估計網絡類別
bottom-up and top-down：
現有的人體姿態估計網絡綜述中，通常將其分爲bottom-up和top-down兩大類。其中bottom-up類網絡直接提取全圖人體關鍵點並利用啓發式後處理方法將全圖關鍵點分配到對應人體實例上。top-down類網絡先通過人體目標檢測算法提取全圖中的人體實例框，並基於該框進行人體關鍵點提取。這種劃分算法的方式是基於獲取人體關鍵點的步驟進行劃分的。
單階段 and 多階段
而本文基於網絡結構的特點將人體姿態估計網絡劃分爲單階段人體姿態估計網絡和多階段人體姿態估計網絡。單階段人體姿態估計網絡：以典型的Simple_baseline爲例子，與多階段人體姿態估計網絡不同，此類網絡沒有模塊的重疊，直接通過一個圖像分類中的backbone結構，後接幾個上採樣操作即可構成完整的人體姿態估計網絡。多階段人體姿態估計網絡：以典型的Hourglass爲例子，此類網絡中每一個stage都可以作爲一個獨立的模塊，擁有自己的降採樣和上採樣過程。此類網絡中的stage就想積木，你可以任意選擇積木的數量構成最終的多階段人體姿態估計網絡。
直觀來說，多階段網絡更加適合姿態估計任務，因爲該結構保留着高分辨率的靈活性。可以使得低分辨率的特徵和高分辨率的特徵重複交疊，兼顧了位置信息和特徵抽象信息。在MPII數據集上，也確實如此。然而在COCO數據集上，單階段網絡的性能卻要比多階段的好，這就和直覺相悖，作者認爲其主要原因是現有的多階段網絡的設計不是很合理。並從三個方面進行了分析：多階段網絡中單個stage結構設計不合理，重複升降採樣導致的特徵損失，多階段只有一個損失難以優化。最終優化後的多階段人體姿態估計（MSPN）框架圖如下。
2.優化單個stage結構
在現有的多stage網絡中，每個stage在進行特徵降採樣和升採樣時，其通道是保持不變的，而不是像Resnet一樣隨着特徵圖的減小會相應的增加通道。這種現象就會導致特徵丟失。作者採用CPN的網絡結構來替換Hourglass中每個stage。使得單個stage的能力變強，規避了特徵因爲降採樣而丟失。下表結果可以看出，對於Hourglass當stage從4上升到8時，增加了0.3AP。對於MSPN當stage從3上升到4時，增加了0.7AP。因此作者認爲MSPN的單stage能力更強。但是我認爲這個結論不是很紮實，因爲差距蠻小的。
3.相鄰stage特徵聚合
每個stage都會對特徵圖進行降採樣和升採樣，多個stage就會反覆的進行降採樣和升採樣，這種反覆的操作使得特徵信息丟失明顯，最終導致網絡優化困難。作者將相鄰階段的特徵進行聚合，以增強特徵信息傳播能力並降低訓練難度。具體的特徵聚合方法如下圖所示，對於當前stage的某個降採樣過程，其輸入包含三個部分。分別爲：上個階段中相同size的降採樣特徵經過1*1卷積編碼後的特徵，上個階段中相同size的升採樣特徵經過1*1卷積編碼後的特徵，以及當前stage的降採樣特徵。
通過上述的特徵聚合方式，使得每個stage中的信息完備且表徵能力強。下表結果展示了上述特徵聚合能力在最終COCO測試集上的表現，具體來說作用於Hourglass網絡，上升爲0.5AP，MSPN網絡上升爲0.3AP。基於此結果作者認爲，Hourglass在傳播過程中會丟失更多信息，而聚合策略可以更有效地緩解這一問題。但我個人覺得0.2AP的這個差異仍然不能太說明問題。
4.多stage由粗到細監督
多stage網絡的特點是，每個stage的輸出都能作爲最終的關鍵點檢測結果。而且隨着stage的增多，關鍵點定位會越來越準。爲了使得在前端的stage能夠獲得更好的知道，作者提出了由粗到細的多分支監督的方式來優化多stage的能力。如下圖所示，正對於每個stage的特點，採用不同kernel-size的高斯核製作標籤，越靠近輸入的stagekernel-size越大。
在每個stage的監督標籤中，使用不同大小的高斯核來製作GT熱度圖。前面的stage用大的高斯核，後面的stage用小的高斯核。下表展示了使用粗細監督的有效性。該策略作用於Hourglass和 MSPN中都能有1.0AP的效果提升。
5.結果展示
如下兩個表所示，是本文提出的MSPN網絡在COCO和MPII數據集上的效果，可以看到論文提出的方法達到了SOAT。本文對多階段和單階段網絡的性能優劣進行了分析，總體來說，作者的思路還是很不錯的，但是個人認爲這篇文章仍然無法解釋多stage網絡真的是優於單stage網絡的。
