如何用真實的人臉照片生成卡通風格的頭像呢？今天我們再來看看另一篇文章。
這篇文章來自香港中文大學+哈工大+騰訊優圖。效果如下：
當然我寫的前兩篇文章，也是在說頭像動漫化，是另外兩個算法，各有千秋。傳送門：
https://blog.csdn.net/wenqiwenqi123/article/details/105483884
https://blog.csdn.net/wenqiwenqi123/article/details/105229786
說回這篇文章，這篇文章的宗旨其實很簡單，從題目就可以看出來，就是在cycleGAN的基礎上，加上了人臉的關鍵點信息（landmark），從而使算法對人臉的處理更加給力。
cycleGAN介紹傳送門：https://blog.csdn.net/wenqiwenqi123/article/details/105123491
在這裏就不做介紹了，直接說這篇文章的創新點吧。
網絡結構如下圖：
輸入是將圖片和標註好的landmark一起輸入，同時預訓練了一個landmark檢測器（圖中的Regressor）。作者在這裏構建了一個自己的動漫數據集，帶有landmark（人臉關鍵點）的標註，每張圖標五個點。
損失函數由三部分組成：
1、關鍵點一致性損失（landmark consistency loss）
首先將生成器生成的圖的landmark（由預訓練的model預測），與原圖的landmark做一個l2loss。
2、關鍵點匹配全局判別器（landmark matched global discriminator）
作者在此定義了一個條件判別器，換句話說也就是把圖片和landmark一起放入了判別器。
往條件判別器中輸入的包括：卡通人臉和對應landmark，生成的卡通人臉和真實人臉對應的landmark，croped的卡通人臉和與之不匹配的landmark。分別是real sample，fake sample，fake sample。最後一組輸入的作用是：將具有相應的不匹配landmark heat map的卡通人臉添加爲額外的假樣本，以強制生成器生成更好的匹配卡通人臉，否則辨別器可能會認爲landmark不匹配對也是真實樣本。
3、關鍵點引導的局部判別器(landmark guided local discriminator)
這個我覺得沒什麼可說的，就是根據關鍵點，把鼻子、眼睛、嘴巴什麼的摳出來，分別放入單獨的判別器進行判別。
因此loss基本上就是以上三個。
值得一提的是，在訓練的時候，作者分爲兩個階段。在第一個階段沒有使用第三個損失，在生成器能生成粗略的臉後，再使用第三個損失。
當然了，這篇文章在我看來其實創新點是不太夠的，而且很依賴標註好的數據。效果雖然不錯，不過還是稍微少了一點東西。
效果圖：
