深度相機（一）——分類：TOF、RGB雙目、結構光優劣分析（轉載）

目前的深度相機根據其工作原理可以分爲三種：TOF、RGB雙目、結構光

一、RGB雙目

    RGB雙目相機因爲非常依賴純圖像特徵匹配，所以在光照較暗或者過度曝光的情況下效果都非常差，另外如果被測場景本身缺乏紋理，也很難進行特徵提取和匹配。你看看下面的圖就懂了。

三種相機的參數對比：

從分辨率、幀率、軟件複雜度、功耗等方面來考慮

（1）分辨率

    TOF方案深度圖分辨率很難提高，一般都達不到VGA（640x480）分辨率。比如Kinect2的TOF方案深度圖分辨率只有512x424。而Google和聯想合作的PHAB2手機的後置TOF深度相機分辨率只有224x171。TOF方案受物理器件的限制，分辨率很難做到接近VGA的，即使做到，也會和功耗呈指數倍增長。

    結構光的分辨率在較近使用範圍內，結構光方案的分辨率會大大高於TOF方案。比如目前結構光方案的深度圖最高可以做到1080p左右的分辨率了。

（2）幀率

    幀率的話，TOF方案可以達到非常高的幀率，差不多上百fps吧。結構光方案幀率會低點，典型的是30fps，不過這也基本夠用了。

（3）軟件複雜度

    結構光因爲需要對編碼的結構光進行解碼，所以複雜度要比直接測距的TOF高一些。

（4）功耗

    TOF是激光全面照射，而結構光是隻照射其中局部區域，比如PrimeSense的僞隨機散斑圖案，只覆蓋了不到十分之一的空間。另外，TOF發射的是高頻調製脈衝，而結構光投射圖案並不需要高頻調製，所以結構光的功耗要比TOF低很多。還是以僞隨機散斑結構光爲例，結構光方案功耗只有TOF的十分之一不到吧。

    下面是三種方案在分辨率，幀率，軟件複雜度和功耗方面的對比結果。

    結構光方案還有一個優勢在於技術成熟，PrimeSense很早就把結構光技術用在kinect一代產品中了。目前結構光技術有如下幾種變種：一種是單目IR+投影紅外點陣，另外一種是雙目IR+投影紅外點陣，這樣相當於結構光+雙目立體融合了，深度測量效果會比前者好一些，比如Intel RealSense R200採用的就是雙目IR+投影紅外點陣，不足之處就是體積較大。而單目IR+投影紅外點陣的方案雖然體積較小，但是效果會差一點。

（5）計算複雜度

    計算方式也分幾種：一是直接用ASIC（專用集成電路）進行計算，成本稍微高一點，但是處理速度快，支持高幀率和高分辨率深度相機，關鍵是比通用芯片功耗低。二是DSP+軟件算法，成本跟用ASIC差不多，但支持不了高幀率高分辨率，功耗比ASIC稍高。三是直接用手機的AP(Application Processor)進行純軟件計算，這個不需要額外增加硬件成本，但是比較消耗AP的計算資源。同樣也不支持高幀率高分辨率，功耗比較大。

  

  iPhone X的深度相機技術方案：結構光原理的深度相機。具體來說是：單目IR+投影紅外點陣+ASIC方案。該方案在深度分辨率、深度測量精度上有較大優勢，實時性處理和全天候工作也都有保障，功耗也相對較低，就是成本稍高了一些。

    9月13日蘋果發佈了致敬十週年的新機型iPhone X，其中前置原深感（TrueDepth）相機引起了極大的輿論關注。該相機的構成如下圖所示。從左到右，依次是紅外鏡頭、泛光感應元件、距離傳感器、環境光傳感器、揚聲器、麥克風、700萬像素攝像頭、點陣投影器。其中最有里程碑意義的當屬紅外鏡頭 + 點陣投影器 + RGB攝像頭的組合。

轉自：https://blog.csdn.net/electech6/article/details/78889057

https://blog.csdn.net/electech6/article/details/78348917