VideoPose3D | 環境搭建

主要參考：GitHub / facebookresearch / VideoPose3D

環境要求

Dependencies
Make sure you have the following dependencies installed before proceeding:
Python 3+ distribution
PyTorch >= 0.4.0

必需的是：

• Python 3+ Distribution
• PyTorch ≥ 0.4.0

我的環境是Anaconda3下的python3.7, 無PyTorch，所以接下來下載PyTorch。

下載PyTorch

下載資源： PyTorch官網

直接在START LOCALLY選擇對應的情況。我是win7，python3.7，非NVIDIA顯示環境

基本步驟

• 啓用Anaconda Powershell Prompt 命令窗口
• cd切換到自定路徑
• 粘貼官網給出的命令語句

conda install pytorch torchvision cpuonly -c pytorch

• 根據提示輸入y，確定下載
  
• 等待下載安裝完成

驗證安裝

參考教程：anaconda+pytorch安裝說明

在命令行輸入

import torch
import torchvision
print(torch)
print(torchvision)

或

from __future__ import print_function
import torch
x = torch.rand(5, 3)
print(x)

觀察輸出結果如下，即表示安裝成功

問題修復

下載途中可能會卡在PyTorch部分，甚至可能會終止報錯。

原因：連接失敗。
解決方法：建議翻牆重新下載。

數據集設置

（首先要先下載GitHub/…中的整個工程文件呀）

We focus on Human3.6M…In order to proceed, you must also copy CPN detections (for Human3.6M) …

Human3.6M

下載資源（DropBox）

• 將h36m.zip壓縮包放至工程文件的 **facebookresearch/VideoPose3D-master/data/**下
• 在當前路徑下執行命令語句運行轉化代碼prepare_data_h36m.py

python prepare_data_h36m.py --from-archive h36m.zip

• 等待片刻，結果如下
  

Human 3.6M 的2D偵測

CPN 檢測

CPN（Cascaded Pyramid Network，級聯金字塔網絡）檢測可以有效緩解通過表層特徵無法識別“難點”（如軀幹點），及在訓練過程中沒有明確解決的“難點”的檢測問題。CPN網絡分爲兩個階段：GlobalNet和RefineNet。GlobalNet網絡是一個特徵金字塔網絡，該網絡用於定位簡單的關鍵點，如眼睛和手等，但是對於遮擋點和不可見的點可能缺乏精確的定位；RefinNet網絡該網絡通過集合來自GolbalNet網絡的多級別特徵來明確解決“難點”的檢測問題。

配置wget命令

由於我win7電腦內尚不能使用批量下載語句wget，所以需要先安裝配置（參考）

安裝CPN

同樣，在data目錄下

wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_cpn_ft_h36m_dbb.npz
wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_ft_h36m.npz

下載cpn和detectron
（等待時間非常長、、、)

堆疊沙漏檢測

Stacked Hourglass detections堆疊沙漏檢測是一種對人體的姿態進行識別的新的網絡結構，這個網絡結構能夠捕獲並整合圖像所有尺度的信息。

下載資源：

1. the pretrained model ( h36m.zip )
2. the fine-tuned poses

• 將下載的兩個壓縮文件置於**…/data/**下
• 執行以下語句

python prepare_data_2d_h36m_sh.py -pt h36m.zip
python prepare_data_2d_h36m_sh.py -ft stacked_hourglass_fined_tuned_240.tar.gz

結果如下

評估環境

下載 pretrained_h36m_cpn.bin到**…/checkpoint/** 文件夾內

mkdir checkpoint
cd checkpoint
wget https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_h36m_cpn.bin

測試

參數說明

在E:\4A\FP\VideoPose3D-master目錄下執行

python run.py -k cpn_ft_h36m_dbb -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin

和

python run.py -k cpn_ft_h36m_dbb -arc 3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin --render --viz-subject S11 --viz-action Walking --viz-camera 0 --viz-video "E:\4A\FP\joints_3d_VNect\traffic-control.mp4" --viz-output output.gif --viz-size 3 --viz-downsample 2 --viz-limit 60

測試

問題

待解決

測試報錯 無法識別參數3 3 3 3

卡在最後評估

**The final evaluation will be carried out after the last training epoch.