1. 《Self-Supervised Scene De-occlusion》
本文最大的創新點在於自監督的訓練方式。具體的,因爲常用的分割數據集只有modal mask, 而沒有標註好的遮擋物體Ground Truth(amodal mask), 所以作者故意將某示例隨機疊加在當前示例上,人爲的自主構造遮擋數據和對應遮擋mask僞標籤用於訓練遮擋物體重建網絡。
遮擋物體重建步驟如下:
- 得到遮擋順序圖
- 根據順序圖重建amodal mask
- 再根據amodal mask實現內容重建
網絡主體結構如下:
訓練階段:
PCNet-M用於重建amodal mask, 基於人爲自主構造的遮擋數據標籤對。兩個case的結合訓練是爲了實現準確填充。
PCNet-C用於實現內容重建,完成遮擋物體恢復,同樣是基於人爲構造的僞標籤訓練。
測試階段:
首先判斷遮擋順序。即對相鄰兩個物體,互相作爲對方的遮擋體重建,重建後面積顯著增大的是原始被遮擋物體。
得到遮擋順序後,對任意物體,通過廣義優先搜索獲取其遮擋源,然後送入PCNet-M重建amodal mask(a),再利用PCNet-C,實現內容恢復(b)。