近年來，深度相機在三維測量領域的應用日益廣泛，具有識別能力強、檢測精度較高、可靠性好、抗干擾能力強、實時高效等特點。目前深度相機主要有三類：飛行時間（TOF），RGB雙目和結構光法。
三類深度相機的比較
|
相機類型 |
TOF飛行時間 |
RGB雙目 |
結構光 （單目/雙目） |
|
測距方式 |
主動式 |
被動式 |
主動式 |
|
工作原理 |
發射激光信號遇阻後回波時間推算，根據飛行時間直接測量 |
左右相機的拍攝圖像進行匹配，由三角測量測量深度 |
主動投影編碼圖案，根據編碼圖案計算深度。 |
|
測量範圍 |
受光源強度限制，測量範圍幾十米以內，精度在毫米級別 |
受相機的極限長度等因素影響，測量範圍可達百米，精度在釐米級別 |
受光斑圖案影響，測量距離10m以內，精度高 1m處毫米級別 |
|
特點 |
不受光照和物體紋理影響，多重反射影響，深度圖像分辨率較低，精度較低 |
複雜度高，實時性差，受光線和物體紋理影響，夜晚無法使用 |
不易受物體紋理影響，容易受反光影響。 |
|
幀率 |
可達百fps |
取決於計算平臺和算法 |
幾十fps |
|
功耗 |
很高，需要全面照射 |
取決於計算平臺和算法 |
中等，需要投射圖案 |
|
公司/產品 |
微軟 Kinect-2，PMD， SoftKinect，聯想Phab |
Leap Motion，ZED，大疆 |
蘋果(Prime Sense)， 微軟 Kinect-1，英特爾RealSense, Mantis Vision |
結構光深度相機的應用
結構光深度相機的分類
主要分爲單目結構光和雙目結構光相機。
單目結構光容易受光照的影響，在室外環境下，如果是晴天，激光器發出的編碼光斑容易太陽光淹沒掉。雙目結構光可以在室內環境下使用結構光測量深度信息，在室外光照導致結構光失效的情況下轉爲純雙目的方式，其抗環境干擾能力、可靠性更強，深度圖質量有更大提升空間。此外，結構光方案中的激光器壽命較短，難以滿足7*24小時的長時間工作要求，其長時間連續工作很容易損壞。因爲單目鏡頭和激光器需要進行精確的標定，一旦損壞，替換激光器時重新進行兩者的標定是非常困難的。
單目結構光的原理
通常採用特定波長的不可見的紅外激光作爲光源，它發射出來的光經過一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。 根據編碼圖案不同一般有條紋結構光enshape ，編碼結構光Mantis Vision, Realsense(F200), 散斑結構光apple(primesense)。由於結構光主動投射編碼光，因而非常適合在光照不足（甚至無光）、缺乏紋理的場景使用。結構光投影圖案一般經過精心設計，所以在一定範圍內可以達到較高的測量精度。技術成熟，深度圖像可以做到相對較高的分辨率。
雙目結構光的原理
雙目結構光，就是純雙目和單目結構光結合的解決方案，結構光等於是給物體加了紋理，計算深度依然採用視差的原理。
主要生產廠家
國外結構光方案開發的公司有Prime Sense(蘋果)、英特爾，以色列Mantis Vision（小米）；
國內結構光方案開發的公司有深圳奧比中光科技有限公司（單目結構光OPPO），南京華捷艾米軟件有限公司（單目結構光），丘鈦科技，上海圖漾信息科技有限公司（雙目結構光）。
結構光相機配置對比
|
|
微軟Kinect V1 |
華碩Xtion Pro Live |
奧比中光ASTRA Mini S |
英特爾Realsense D435 |
圖漾DS460-W |
華捷艾米A100 |
|
彩色圖像 |
640×480/30fps |
640×480/30fps |
1280x960@7FPS 640x480@30FPS 320x240@30FPS |
1280x960@90FPS (專用的處理芯片) |
|
1080P |
|
深度圖像 |
320×240/30fps |
320×240/30fps |
1280x1024@7FPS 640x480@30FPS 320x240@30FPS 160x120@30FPS |
1920*1080@30 FPS |
VGA 30fps |
640*480 |
|
檢測範圍 |
0.8m-3.8m |
0.8m - 3.5m |
0.35–2.0/ 1m: ±1-3mm |
0.2m-10m |
0.24-2m |
0.8-6 |
某雙目結構光相機:
紅外圖像 Left 紅外圖像 Right
深度圖
雙目結構光相機仍然採用紅外補光，左右圖像匹配的技術，該類結構光相機依然無法準確獲取吸光反光和透明等區域的深度信息。並且深度圖像無效區域面積過大，分佈隨機，算法濾波嚴重，物體邊界平滑模糊。集中體現在：
- 雙目視覺中，物體離雙目越近，深度不連續區域的遮擋區域越大。如果場景近景較多，導致在深度不連續區域出現“邊界膨脹”和“邊界黑洞”現象。
- 在反光、吸光和透明區域，結構光投射效果大打折扣，無法準確獲取無紋理或重複紋理的區域的深度。
- 爲了保證有效深度的精度，兼顧FPGA資源損耗，算法採用了較爲謹慎的濾波策略，導致邊界特徵較爲平滑模糊。
某單目結構光相機：
| Baseline | 40mm |
| 深度距離 | 0.3-1.5m |
| 精度 | 1m:±3mm |
| 深度 FOV | H68 V45 |
| 彩色 FOV | H71 V56 |
（有緣千里來相會，雙目技術研究羣 595083461）