本文介紹 讓蒙娜麗莎活過來的視頻驅動人像生成
 This article was original written by Jin Tian, welcome re-post, first come with https://jinfagang.github.io . but please keep this copyright info, thanks, any question could be asked via wechat:
jintianiloveu
圖像生成裏面有一個有趣的子任務，即圖像視頻生成，簡單來說就是給你一張靜態的圖片，你通過各種方法把它驅動起來。而其中一個思路就是用一段已經知道的視頻，去生成和這段視頻風格相似的視頻。
聽起來比較複雜，看下面的幾個gif圖片就知道這是完成啥任務了：
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-XFGUZDKa-1590138208753)(https://s1.ax1x.com/2020/04/07/G2g86f.gif)]
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-ydnIzCwa-1590138208757)(https://github.com/AliaksandrSiarohin/first-order-model/raw/master/sup-mat/vox-teaser.gif)]
簡單來說就是將一張靜態的圖片，通過一個video去驅動它，生成一模一樣的表情和動作。比如上圖的川普的動作，被冰與火之歌的人物所模仿。最上面的蒙娜麗莎開始咧嘴微笑，要知道這可是600多年前的人物畫像，現在終於開口說話了。
原理
我們其實很好奇這個網絡模型的原理。事實上，圖像動畫包括生成視頻序列，以便根據駕駛視頻的運動對源圖像進行動畫處理。 這個框架無需使用任何註釋或先前信息即可解決此問題關於要動畫的特定對象。 一旦接受了一系列視頻訓練，同一類別的物體（例如，面孔，人體），這個方法可以應用此類的任何對象。 爲此，將外觀和運動分離使用自我監督的公式表示信息。 爲了支持複雜的動作，使用由一組學習到的關鍵點以及它們組成的表示形式局部仿射變換。 生成器網絡對在目標運動並結合從源圖像中提取的外觀和來自行車視頻的運動。 這個框架在多樣化方面得分最高基準以及各種對象類別。
在之前有Nvidia出品的vid2vid進行視頻生成，但是那個方法並非直接端到達u端，比如需要先進性人臉關鍵點檢測，或者需要進行姿態檢測，然後再進行風格遷移和動作轉換。
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-KCRFwTHS-1590138208762)(https://s1.ax1x.com/2020/04/08/GfE5kt.png)]
這篇文章採用方法是一種盲關鍵點法，不針對熱定問題提取特定的關鍵帶你，而是採用一種自監督學習方法進行自主學習，然後對學習到的盲點進行空間變換，同時學習動作與動作之間的場變換，最終合成動作連續的風格遷移視頻。
代碼
原始代碼可以在神力平臺獲取：
http://manaai.cn
下載代碼之後，直接運行：
python3 demo.py --config config/vox-256.yaml --driving_video data/a.mp4 --source_image a.png --checkpoint vox-cpk.pth.tar --relative --adapt_scale
就可以對靜態圖片進行風格遷移。
對應的模型可以參考代碼readme獲取。
蒙娜麗莎畫像生成效果
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-RYIMPEx5-1590138208765)(https://s1.ax1x.com/2020/04/07/G2g86f.gif)]
這個生成的效果還是非常生動的！！
上車
如果你對GAN感興趣，歡迎加入我們的QQ交流羣1037662480，入羣暗號：GAN。然後可以進一步加入我們的wx羣。
http://t.manaai.cn