換臉方法之FSGAN

論文：FSGAN: Subject Agnostic Face Swapping and Reenactment

官網：https://nirkin.com/fsgan/

Github：https://github.com/YuvalNirkin/fsgan

https://github.com/1adrianb/2D-and-3D-face-alignment

 

ICCV2019

 

論文提出了一種新的換臉（swapping ）和再現（reenactment ）的方法FSGAN，可以對圖片和視頻實現換臉操作。在v100顯卡上，reenactment 可以達到30fps，swapping 可以達到10fps。

 

主要貢獻：

（1）首次處理姿態，表情，人物ID的信息，並且不需要人物對的訓練就取得了非常高的質量。

（2）提出了基於三角剖分（Delaunay Triangulation ）和質心座標（barycentric coordinates ）解決多視角情況下的相同人臉的插值問題。

（3）提出了stepwise consistency loss 訓練人臉再現，提出了Poisson blending loss 訓練生成圖片和原始圖片的融合。

 

整體流程：

首先根據source圖像Is和目標target圖像It，基於3d人臉landmark檢測器，分別提取原圖和目標圖的人臉框，landmark，歐拉角，這3個指標。然後使用一個reenactment再現人臉姿態的網絡，通過source圖像生成和target圖像人臉歐拉角一樣的圖片Ir。然後通過一個分割segmentation的模型，分別對生成的圖片Ir和目標圖片It進行分割操作。得到人臉和頭髮的mask區域。然後通過一個inpainting修復網絡，對人臉區域進行修復，得到Ic。最後基於一個blending融合網絡，基於目標圖，修復體，mask圖，進行融合，得到最終換臉後輸出圖Ib。

 

 

損失函數：

perceptual loss ：

Reconstruction loss :

Adversarial loss :

reenactment loss , segmentation loss:

Face view interpolation loss:

 

Face inpainting loss:

 

Face blending loss:

 

實驗結果：

 

總結：

（1）換臉的五官效果，好於faceshifter