DensePose工程實現上的概括

幹了個啥事呢？

Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body. 把圖像的像素mapping到3D human body的3D surface上面。

在他們的主頁上，主要有兩點貢獻，

• 在COCO數據集(50K images)的基礎上，通過手工標註manually annotated引入一個DensePose-COCO數據集。這個數據集是：A large-scale ground-truth dataset with image-to-surface correspondences（具有image-to-surface的correspondences的ground-truth).
• 提出了一個網絡結構的變種，叫DensePose-RCNN, 是Mask-RCNN的變種。to densely regress part-specific UV coordinates within every human region at multiple frames per second.用來回歸針對part的UV座標，可以同時每秒中處理多個frames.

DensePose-RCNN的實現藉助了facebook的Detectron框架和Caffe2.

理論基礎

工程配置過程

• 安裝caff2e和DensePose
  • 使用python2
  • 使用caffe2，很多其他的standard Python packages, 還有一個關於數據庫的APIthe COCO API
  • 它這裏這個Detectron的兼容性在CUDA 8.0 和 cuDNN 6.0.21上驗證過.

Detectron: FAIR’s research platform for object detection research, implementing popular algorithms like Mask R-CNN and RetinaNet.