大家好~本課程基於全連接和卷積神經網絡,學習LBF等深度學習降噪算法,實現實時路徑追蹤渲染的降噪
本課程偏向於應用實現,主要介紹深度學習降噪算法的實現思路,演示實現的效果,給出實現的相關代碼
線上課程資料:
掃碼加QQ頻道,獲得相關代碼等資料,與羣主交流討論:
本系列文章爲線上課程的覆盤,每上完一節課就會同步發佈對應的文章
本文爲第一節課:課程介紹的覆盤文章
本課程系列文章可進入合集查看:
深度學習降噪專題課系列文章合集
爲什麼要學習深度學習?
我主要關注在圖形學中的應用,在“深度學習和圖形學渲染的結合和應用” 中總結了深度學習在圖形學中的部分應用。
具體來說應用包括下面幾個方面:
- 降噪
如上圖所示,左邊爲路徑追蹤生成的有噪點的場景圖片,右邊爲經過深度學習降噪後的清晰圖片
降噪主要使用深度學習中的卷積神經網絡,這也是本課程會重點學習的
在最新的論文中,已經實現了10ms降噪,從而可以用在實時渲染的全局光照中了!
- 神經渲染
具體說就是2D圖片轉成3D場景
比如谷歌之前發佈的3D地圖,就是使用了該技術。它先從多個角度拍攝街道,然後通過深度學習中的NeRF將其轉換爲可從任意視角觀看的3D模型
- 語義圖像合成
深度學習通過GAN網絡,可以將“我的世界”這種體素構成的3D場景,轉換爲三角面構成的3D場景,從而可以實現玩家在遊戲中既可以像我的世界那樣,通過操作體素的方式自定義世界,又可以切換到真實渲染模式(三角面組成的3D場景)查看渲染精美的3D場景
- 輻照度緩存
在Real-time Neural Radiance Caching for Path Tracing論文中,提出了使用深度學習實現輻照度緩存,從而加快路徑追蹤的渲染速度
- 高清分辨率的紋理
在NeuMIP: Multi-Resolution Neural Materials論文中,提出了使用深度學習實現高清分辨率的紋理
前置要求
本課程在《深度學習基礎課》的基礎上進行降噪專題的學習,請大家首先閱讀下面的資料,對深度學習基礎班的內容有一個大概的瞭解:
深度學習基礎課系列目錄
技術棧
-
Rescript
Rescript以前叫Reasonml,它跟Typescript類似,都屬於編譯到Javascript的語言
Rescript是從Ocaml而來,基於函數式編程範式,高度優化了編譯後的Javascript,性能非常好,非常適合像深度學習這種處理數據的場景
Rescript的學習資料爲:
官方文檔 -
WebGPU
課程特色
- 偏向於應用實現,介紹實現思路,演示實現效果,給出實現代碼
- 使用自己實現的深度學習框架
學員收益
- 瞭解降噪算法的實現思路
- 獲得降噪算法的實現代碼
課程大綱
課程內容包括:
- 課程介紹
- 整體介紹降噪算法
- 介紹LBF實現思路
- 介紹KPCN實現思路
- 介紹KPCN實現代碼
- 介紹WPSK實現思路
- 使用CPU後端的深度學習框架,實現WPSK
- 深度學習框架加入WebGPU後端
- 使用WebGPU後端的深度學習框架,實現WPSK
- 結合路徑追蹤渲染器,使用WPSK降噪