PTGAN 帶轉換模型和分割模型

目錄

一、摘要：

二、MSMT17數據集介紹

三、實驗流程和結果：

三、流程復現：

---

Paper 鏈接：Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

：https://arxiv.org/pdf/1711.08565.pdf

Dataset 鏈接： 

：http://www.pkuvmc.com/publications/msmt17.html

一、摘要：

提出了一種針對於 ReID 的生成對抗網絡 PTGAN，可以實現不同 ReID 數據集的行人圖片遷移，在保證行人本體前景不變的情況下，將背景轉換成期望的數據集 style。

另外本文還提出一個大型的 ReID 數據集 MSMT17，這個數據集包括多個時間段多個場景，包括室內和室外場景，是一個非常有挑戰的數據集。

 

二、MSMT17數據集介紹

MSMT17數據集

• 15 個攝像頭：12個室外，3個室內
• 採集4天，每天的天氣不一樣：大概是爲了光線差異大一些
• 選取每天早上，中午，下午的各3小時作爲粗略的視頻標註參考對象：即一天只考慮選9小時， 棄了晚上--->太黑貢獻不大？
• 在經過進一步選擇後，最終版的視頻只選了每個攝像頭每天3個小時的視頻，總共爲 3*4天×15個攝像頭= 180個小時
• 所以視頻時間從 9個小時 × 15個攝像頭 × 4天 = 540個小時 ----->> 3個小時 × 4天 × 15個攝像頭 = 180個小時

三、實驗流程和結果：

實驗想達到的效果：

論文公佈的代碼和cyclegan基本一樣，但是沒有提供模型和語義分割部分的代碼；這也是我寫這一篇比克的初衷

三、流程復現：

                                        

                      A                                                                                               B

要特別感謝這位玉樹凌風的學弟，和我一起拍了一段視頻，最後裁剪獲得了以上小型數據集。希望學弟不要看到0-0

由於大部分RID數據集像素都很小，比較模糊，很難取得好的效果。

數據集製作流程：拍制視頻->YOLOV3目標檢測獲取人像->人像分割（本文提供人像分割代碼）->PTGAN換背景

                                       

                       A_                                                                                            B_

 

結果展示：

 

gan真個很神奇吧。

github地址：https://github.com/958099161/PTGAN

關於gan模型調參問題