來源:機器之心
本文約1700字,建議閱讀7分鐘。
“大谷的遊戲創作小屋”又用AI修復了一段老北京影像,這次還帶時代原聲……
剃頭挑子、街邊地攤、京韻大鼓,多數人可能只在電影、電視劇中看過老北京的這些景象。
但早在 90 年前,就有人將這些場景都拍了下來,而且完好地保存在美國南卡羅萊納大學影像庫。
影片中還收錄了時代原聲,原汁原味地記錄了當時老北京的平民生活。
90 年後,有人將這些影片翻了出來,還用 AI 進行了修復,包括上色、提高分辨率等操作。
從這段影片中,我們能看到很多非常生活化的場景,比如小學生在學校外邊買飯:
小夥子找個剃頭攤剃頭:
在觀賞修復效果的同時,我們還能聽到剃頭師傅和小夥子一問一答:
“疼不疼?”
“不疼。我還不哭呢外帶着。”
“嘿,你傢什麼地方住?”
“寶坻縣”
“這頭剃得好,不疼。剃不好,真疼!”“剃好了咱還找你去”
“你家幾口人吶?”
“十口!”
“十口人?怎麼那麼些人呢?”
“人多,好。”
“一天掙二毛錢夠挑費不?”
“一天掙兩塊!”
“哦,這還不錯。”
這段場景被當時的拍攝者描述爲 “不用付租金的理髮師”。
剃完之後,小夥子還不忘給個好評,一邊拍着腦瓜一邊說:“剃挺好!” 那時候的人大概沒有預料到,在 90 年後的今天,現代人都忙着生髮、植髮、戴假髮……
希望坐在電腦前的你變強變禿後也能保持這份心態。
剃完了頭逛逛街吧,看看 90 年前的首都地攤長什麼樣:
可以看到,90 年前的北京街頭也是人頭攢動,有賣衣服的、賣(遛)鳥的、賣各種小商品的,其熱鬧程度似乎不亞於疫情前的王府井。
除了這些,街頭還有一些老藝人,向我們呈現百年前的京韻大鼓:
看到這裏,你或許已經猜到了這段視頻的修復者,他就是前段時間很火的 B 站 up 主 “大谷”。
就在不久前,大谷在他的 B 站賬號“大谷的遊戲創作小屋” 上發佈了第一個老北京修復影片 。
截止目前,該視頻的累計播放量已經達到 200 多萬,還得到了央視等權威媒體的報道。
這次的修復影像由“大谷的遊戲創作小屋”和央視新聞聯合發佈。原視頻出處爲南卡羅萊納大學影像庫館藏膠片,音效也不是後期配音,全部爲時代原聲。
看完之後,很多人才發現,一百年前的北京市民和現在長得一模一樣,口音也如出一轍:“還在想回去要咋交流,原來一樣的哈哈哈”
還有人評價說,“剃頭的倆人像在說相聲”。
讓我們一起通過視頻感受一下:
這次修復用了什麼技術?
在第一期的老北京影像修復過程中,UP 主借鑑了海外 YouTube 博主 Denis Shiryae 的影像修復教程,包括上海交大 Bao Wenbo 等人提出的 DAIN 插幀技術(參見論文《Depth-Aware Video Frame Interpolation》)。
這一次,UP 主特別提到,除了上述修復技術,自己還用到了一種新技術:DeepRemaster。
論文地址:
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html
這項技術由日本筑波大學和早稻田大學的兩位研究者合作提出,論文被計算機圖形學頂會 SIGGRAPH Asia 2019 收錄。
與近年來使用遞歸模型處理視頻的方法不同,該方法對老舊影像的修復是基於全卷積網絡實現的。
老舊影片的修復包含多項步驟,比如超分辨率、噪聲消除和對比度增強,旨在讓已經老化的影片介質恢復到原始狀態。
當然,由於特定時代的技術限制,許多老舊影片要麼是黑白影像,要麼色彩呈現質量較低,因此在修復中也常常需要着色。
在這項研究中,研究者提出了一個單一框架,以半交互的方式處理所有重製任務。該框架基於帶有注意力機制的時間卷積神經網絡。
他們提出的 source-reference 注意力允許模型處理任意數量的彩色參考圖像(reference color images),在不需要分割的情況下給長視頻着色,同時保持時間一致性。
與之前的方法相比,該方法的性能隨着視頻長度和彩色參考圖像數量的增長而增長。
DeepRemaster 的網絡架構如下:
輸入一系列的黑白圖像,通過預處理網絡修復,修復的結果作爲最終輸出視頻的亮度通道。
然後,source-reference 網絡將預處理網絡的輸出和任意數目的彩色參考圖像結合,產生視頻的最終色度通道。
在着色過程中,研究者使用了 source-reference 注意力,讓模型依照彩色參考圖像中相似區域的顏色對視頻進行着色。模型輸出部分就是輸入視頻重製後的版本。
爲了測試網絡的效果,研究者對一些老舊影像進行了重製,並對該方法進行了定量和定性的深入評估。
在下圖中,每個視頻最上面一行的圖像是着色的參考圖像。實驗結果表明,利用 source- reference 注意力,使用少量參考圖像即可高效獲得穩定、一致的數千幀圖像。
《Right to Health, A (Part I)》重製結果, 使用了三張參考圖像
《Freedom Highway (1956)》重製結果,使用了兩張參考圖像
《The Jungle Book(1967)》重製結果,使用了 41 張參考圖像
與以往方法相比,用 DeepRemaster 重製的圖像與真實世界的色彩更加一致:
在噪聲消除方面,DeepRemaster 能夠很好地處理各種類型的噪聲,同時也能夠銳化輸入圖像。
編輯:黃繼彥