圖像去遮擋

1. 《Self-Supervised Scene De-occlusion》

本文最大的創新點在於自監督的訓練方式。具體的,因爲常用的分割數據集只有modal mask, 而沒有標註好的遮擋物體Ground Truth(amodal mask), 所以作者故意將某示例隨機疊加在當前示例上,人爲的自主構造遮擋數據和對應遮擋mask僞標籤用於訓練遮擋物體重建網絡。
遮擋物體重建步驟如下:

  1. 得到遮擋順序圖
  2. 根據順序圖重建amodal mask
  3. 再根據amodal mask實現內容重建
    在這裏插入圖片描述
    網絡主體結構如下:
    訓練階段:
    PCNet-M用於重建amodal mask, 基於人爲自主構造的遮擋數據標籤對。兩個case的結合訓練是爲了實現準確填充。
    PCNet-C用於實現內容重建,完成遮擋物體恢復,同樣是基於人爲構造的僞標籤訓練。
    在這裏插入圖片描述
    測試階段:
    首先判斷遮擋順序。即對相鄰兩個物體,互相作爲對方的遮擋體重建,重建後面積顯著增大的是原始被遮擋物體。
    在這裏插入圖片描述
    得到遮擋順序後,對任意物體,通過廣義優先搜索獲取其遮擋源,然後送入PCNet-M重建amodal mask(a),再利用PCNet-C,實現內容恢復(b)。
    在這裏插入圖片描述
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章