【MSA R-CNN | MultiPoseNet 】:人體檢測和關鍵點定位共享特徵網絡

1.MSA R-CNN

Multi-scale Aggregation R-CNN
MSA RCNN:該網絡將關鍵點定位和人體目標檢測整合到一個網絡中。該網絡的主要創新點爲:MS-RoIAlign和MS-KpsNet。網絡整體框架如下圖所示。

Multi-scale RoIAlign Block
MS-RoIAlign:從多個不同尺度的特徵圖中獲取人體框特徵,並聚合。
原始的RoIAlign從單一的特徵圖上提取proposal,而MSA R-CNN中提出的MS-RoIAlign從多個尺度的空間中提取特徵,而不是在單一尺度中提取。這就能提供更多的信息。如下圖所示,多個尺度的特徵可以增加更多的感受野,使得最終的檢測和關鍵點定位更加準確。


Mutil-scale keypoint head network
MS-KpsNet:將MS-RoIAlign聚合後的人體proposal特徵,進行人體關鍵點熱度圖預測。
如下圖所示,該網絡接收由MS-RoIAlign輸出的人體框所在區域的特徵,該網絡由簡單的卷積,降採樣,上採樣,短連接等操作組成,最終輸出關鍵點熱度圖用於關鍵點預測。

Conclusion

本文將人體檢測和關鍵點檢測整合到一個網絡中,從而減低整體的計算複雜度。MSA R-CNN已經能夠將人體檢測和關鍵點定位整合到一個端到端的網絡中了,通過共用特徵提取層,從而減少整體的計算量。

2.MultiPoseNet

MultiPoseNet可以聯合處理人體檢測、關鍵點定位問題。該方法利用位Pose Residual Network(PRN)實現了一種新的姿態分配方法。由於現有的基於全圖作多人姿態估計的方法(openpose)存在性能上的瓶頸,而基於單人檢測後的單人姿態估計方法(alphapose)隨着人數的增多,處理時間暴增等問題。MultiPoseNet網絡先通過對圖像作全圖的多人姿態估計,再結合與姿態估計共用參數層的人體檢測網絡得到的人體框,並結合PRN網絡,最終實現多人姿態估計,均衡了時間和性能上的問題。

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章