模擬仿真系統中的汽車和行人模型

在模擬仿真的環境中,一部分屬於靜態的物體,以背景爲主,比如高架橋,樓房,街道,樹木,河流和山丘等等,另一部分是動態的物體,比如汽車,行人,摩托車,自行車和動物等等。靜態的環境數據需要3-D模型,或者IBR模型,而動態的活動模型,就需要提供運動學和動力學模型。

在汽車工業,有衆多成熟的仿真模擬公司做汽車CAD模型和車體運動學/動力學模型,比如MSC軟件公司的VIRES,西門子收購的公司TASS開發的PreScan,IPG公司的CarMaker,Mechanical Simulation公司的CarSim和dSpace的Automotive Simulation Models(ACM)等。如下圖分別是CarMaker,CarSim和ACM的汽車模型。

圖片來自黃浴的知乎

人體模型以及人臉模型是模擬行人的基礎,作爲外觀的服裝也需要3-D建模,至於更多的細節如皮膚和頭髮部分,對自動駕駛環境仿真的效果不那麼敏感。同時作爲一個運動物體,本身需要提供其骨架模型(skeleton model),行走或者其他動作,如倒地和蹲下等,需要運動學模型確定,甚至摩托車手和自行車手也可以在一些動作細節上做工作,體現出其特有的動作模型。面部表情和人體動作一樣,也需要提供變形模型(也有肌肉模型和表情單元模型等)和運動學方程決定仿真的面部動作,如驚訝,微笑,甚至哭泣等等。手指運動類似於人體運動,有獨特的骨架模型描述。

在對人體運動理解和建模困難的情況下,以前動畫遊戲製作者會採用運動捕獲技術,即在運動物體身上貼紅外標記(marker),在紅外攝影數據中得到人體模型的運動模式。

在計算機視覺研究領域,一些研究者探索如何通過真實圖像的數據採用機器學習和概率方法對人體(包括提到的人臉,服裝等)的外觀和運動(包括表情和手勢)進行建模,其中還是和計算機圖形學的3-D模型結合,即IBR或者VBR(video-based rendering)技術。

基於視頻數據重建3-D人體模型

圖片來自黃浴的知乎

一個交互式服裝建模和編輯的工具

圖片來自黃浴的知乎

一種基於深度學習得到運動轉換的方法,這裏將基於視覺捕獲的人體運動傳遞到另外一個人身上。

圖片來自黃浴的知乎

基於深度學習GAN理論學習一個面部表情的轉換方法,基於視覺的面部顯著標記(landmark)處理,可以將一個人的表情傳遞到另外一個人臉上。

圖片來自黃浴的知乎

對一些表觀和運動細節的把握也有一些研究工作:
基於深度學習從圖像中直接頭髮建模

圖片來自黃浴的知乎
對自行車手的特技動作進行建模,得到其運動學模型表示

圖片來自黃浴的知乎

參考文獻:

1、CarMaker

2、CarSim
3、ACM
4、Alldieck et al., “Video Based Reconstruction of 3D People Models”, SIGGRAPH 2018

5、N Umetani et al., “Sensitive Couture for Interactive Garment Modeling and Editing”, SIGGRAPH 2011.

6、C Chan et al., “Everybody Dance Now”,arXiv 1808.07371,2018

7、E Zakharov et al.,“Few-Shot Adversarial Learning of Realistic Neural Talking Head Models“,arXiv 1905.08233,2019

8、M Chai et al., “AutoHair: Fully Automatic Hair Modeling from A Single Image”,SIGGRAPH,2016

9、J Tan et al.,“Learning Bicycle Stunts”,SIGGRAPH 2014

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章