原文鏈接：https://mp.weixin.qq.com/s/MkEwjHVC9M1JtdzZZdmeFw
計算攝影
學會看透障礙物
論文地址：https://arxiv.org/pdf/2004.01180.pdf
本文提出了一種基於學習的方法來消除不必要的障礙物。該方法使用了多幀障礙消除算法，該算法利用了基於優化方法和基於學習方法的優勢，以密集到精細的方式在密集運動估計和背景/障礙層重構步驟之間交替。通過對密集運動進行建模，可以逐步恢復各個層中的詳細內容，從而將背景與不需要的遮擋層逐漸分離。第一步由流形分解組成，隨後是兩個後續階段，即背景層和障礙層重構階段，最後是光流細化。
背景摳圖：世界是你的綠幕
論文地址：https://yassouali.github.io/ml-blog/cvpr2020/
將圖像分爲前景和背景的過程稱爲遮罩（matte），通常需要綠幕背景或手動創建的三圖（trimap）來產生良好的遮罩，然後才能將提取的前景放置在所需的背景中。在本文中，作者建議使用捕獲的背景作爲真實背景的估計，然後將其用於求解前景和alpha值（即，圖像中的每個像素都表示爲前景和背景的組合，並帶有權值alpha）。
該模型將靜態自然背景前的人像圖像或視頻加上背景圖像作爲輸入。然後，深層摳圖網絡會爲給定的輸入幀提取每個空間位置的前景色和alpha，並增加背景、柔和的分割以及可選的附近視頻幀，此外還有指導訓練以生成真實結果的判別器網絡。整個模型是結合有監督的和自監督的對抗損失進行端到端訓練的。
使用上下文相關的分層深度修補進行3D攝影
論文地址：https://arxiv.org/abs/2004.04727
本文的目的是從單個RGB-D圖像合成輸入圖像中被遮擋的區域中的內容。所提出的方法包括三個步驟。
1. 首先，給定RGB-D圖像，通過使用雙邊中值濾波器對深度和顏色輸入進行濾波來應用預處理步驟，然後使用視差閾值檢測原始不連續性以估計深度邊緣。
2. 隨後檢測每個檢測到的深度的上下文/合成區域。
3. 給定顏色，深度和邊緣信息，最後一步包括在顏色和深度修補的指導下進行深度邊緣修補，從而在GIF波紋管中看到了一個新視圖
脈衝：通過生成模型的潛在空間探索進行自監督的照片上採樣
論文地址：https://arxiv.org/abs/2003.03808
單圖像超分辨率的目標是從低分辨率（LR）圖像中輸出相應的高分辨率（HR）圖像。先前的方法在有監督損失下進行訓練，該損失會測量真實的HR圖像與模型輸出之間的像素平均距離。但是，存在映射到同一LR圖像的多個HR圖像，並且這些方法嘗試匹配真實的HR圖像，輸出所有可能的HR圖像的每個像素的平均值，這些圖像在高頻區域中不包含很多細節，因此HR輸出模糊。
脈衝試圖從可能縮小到相同LR輸入的HR圖像集中找到一個可能的HR圖像，並且可以以自監督的方式進行訓練而無需有標籤數據集，從而使該方法更加靈活和不限於特定的降級運算符。具體來說，PULSE不是遍歷LR圖像並慢慢添加細節，而是遍歷高分辨率自然圖像流形，搜索縮小到原始LR圖像的圖像。這是通過最小化生成器的按比例縮小的HR輸出（將LR圖像作爲輸入）與LR圖像本身之間的距離度量來完成的。此外，搜索空間受到限制，以通過使用單位球面來確保生成器的輸出在d 維歐氏空間作爲潛在空間是逼真的。