近日，第四屆NTIRE（New Trends in Image Restoration and Enhancement workshop and challenges）比賽結果公佈，美圖影像實驗室MTlab在圖像增強賽道（Image Enhancement Challenge）中斬獲冠軍，同時奪得圖像去霧賽道（Image Dehazing Challenge）的季軍，兩個賽道均有超過200支團隊報名。據悉，NTIRE是目前規模最大、水平最高的圖像恢復與增強的研討會和比賽，吸引了衆多國內外頂尖大學、研究機構和公司參加。
美圖此次奪得冠、季軍的圖像增強和去霧技術很容易讓人聯想到最近大火的AI圖像修復小程序“你我當年”。這個小程序使用的核心技術和美圖獲獎的技術是否有異曲同工之妙？AI前線專門採訪了美圖技術人員，爲大家解讀這些神奇的圖像修復技術背後的原理。
圖像增強和去霧背後的技術
圖像增強是指讓算法處理之後的圖像擁有更好的視覺效果，例如讓普通手機拍攝的照片擁有接近單反照片的質感。
本次圖像增強賽道採用了MOS（mean opinion score）這個反映人主觀評價的指標作爲增強效果的主要評價標準，美圖的MOS的得分爲2.784，是唯一一個MOS分數高於2.6的隊伍。MTlab的研究人員通過對圖像美感建模，使得算法增強後的圖像在視覺上更符合人的感知，AI前線向美圖技術人員瞭解了圖像增強背後的具體技術：
在圖像增強賽道，我們算法基於深度卷積神經網絡技術，其中，網絡結構設計是非常關鍵的一個步驟。我們最後奪冠使用的網絡結構借鑑了HRNet的思想，可以同時抽取出具有high-resolution 和 high-level特性的特徵，實驗結果證明這些特徵非常適合圖像增強這個任務。設計損失函數是提升增強算法效果的另一個關鍵的步驟， 考慮到本次增強比賽採用MOS分數作爲增強算法效果的衡量標準，我們在損失函數的設計上不僅使用了L1，SSIM 和 TV 等傳統損失函數，而且使用了GAN 和 Perceptual-Loss等和人的感知相關的損失函數。
在圖像去霧比賽中，參賽團隊則需要從濃霧遮擋的畫面中恢復出原有的圖像內容，MTlab在經典去霧模型的基礎上，通過對抗生成網絡（GAN）等方法有效還原圖像的原始內容並獲得季軍，PSNR分數爲19.46dB。美圖技術人員解釋了去霧技術背後的技術：
在圖像去霧賽道，我們的網絡模型設計更加側重於對於圖片全局信息的抽取，在網絡中專門添加了用於抽取全局特徵的模塊。另外，由於去霧數據非常難以獲得，本次比賽組織方提供的數據集比較小。爲了擴充數據，我們訓練了一個向圖片中添加霧的網絡，生成了更多的訓練數據，從而極大的提升了去霧網絡的最終效果。
美圖影像實驗室MTlab是美圖公司的核心算法研發部門，專注於計算機視覺、深度學習、增強現實等領域，聚焦圖像畫質提升，包括圖像增強、去噪去霧、超分辨率、HDR等關鍵技術，在MTlab成立的9年間，美圖自主研發的AI算法已落地到了衆多產品功能中，如BeautyCam美顏相機超清人像、美圖秀秀繪畫機器人及動漫化身、美圖手機超級夜景、美圖魔鏡虛擬試妝等，而此次比賽獲冠、季軍的圖像增強和去霧技術等相關技術已經上線於美圖開放平臺（ai.meitu.com）。
和最近爆火的小程序“你我當年”AI修復術有何異同？
美圖的圖像增強和去霧技術很容易讓人聯想到最近很火的“你我當年”小程序，據網友反映，這個小程序經過AI處理，可以把老舊照片的清晰度大大提高。
只不過，這個小程序也有缺點，就是處理時間較長，處理一張圖片大約需要7個小時，但是手機能夠正常使用。現在，這個小程序現在依然火爆，AI前線試用了一下，發現已經有2239人在排隊，需要等待4萬多小時…
據天眼查信息顯示，“你我當年”小程序背後是一家名不見經傳的公司，名爲北京大觥科技有限公司，經營範圍包括技術開發、技術轉讓、軟件開發等。而這個小程序的核心技術，據說PS就能做到，但過程會很複雜。那麼，這和美圖此次獲獎的圖像增強或去霧技術是否有相似之處呢？
美圖技術人員表示，“你我當年”小程序的AI老照片修復與美圖此次比賽獲獎的技術的相似之處在於兩個技術都是基於AI算法且都是數據驅動的。不同之處在於美圖的算法更多的是考慮用戶自然環境下人像自拍的畫質提升，而“你我當年”是更多專注於質量比較低下的老照片修復 。
另外，AI技術處理這些老舊圖像的難度有多大？對照片的質量要求有多高？超過一定時間期限的圖像是不是無法恢復？
對此，美圖表示，幾乎可以肯定的是，老舊照片修復這個問題需要用到數據驅動的深度學習算法。因此，什麼樣的照片能進行修復很大程度上取決於深度學習模型的訓練數據，同時配合針對不同任務的算法調整。
除了老舊圖像之外，老舊、模糊視頻的復原也有很大需求。美圖表示，圖像和視頻的恢復和增強一直是美圖的研發重點，例如在美圖AI開放平臺上開放了畫質增強SDK，另外美顏相機超清人像功能也是其自主研發的數據驅動的全新AI美顏算法。
關於視頻畫質的提升，美圖主要在做兩方面的工作，第一是從視頻採集的源頭出發來提升視頻的畫質，主要包括視頻編解碼方面的工作，並已經落地到美圖的產品中。第二是通過後處理來提升視頻的畫質，視頻去噪、增強等算法也已經落地到產品，例如美拍當中。關於模糊視頻的修復算法，美圖目前也正在研發。
公佈美圖AI開放平臺，開放AI能力
值得一提的是，在近期召開的VALSE2019視覺與學習青年學者研討會上，美圖影像實驗室MTlab對外正式發佈了“美圖AI開放平臺”（ai.meitu.com），進一步開放其技術能力，爲線上線下各行業提供經過市場檢驗的專業AI服務。
美圖技術人員透露，目前美圖AI開放平臺開放了人臉技術、人體技術、圖像識別、圖像處理、圖像生成等幾大類核心AI技術。這些技術可通過雲端API/移動端SDK/定製解決方案等多種方式對外提供經過市場驗證的專業AI算法服務。
