非視距成像:硬件設備總結

(本文參考Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.總結而來。主要改動是添加了相關文獻。更加詳細的信息參考原文)

本文主要總結非視距成像研究主要使用的硬件設備,包括下面五類, 分類方法參考文獻[1]

1. 條紋相機 + 脈衝激光器

2. 單光子雪崩二極管 + 脈衝激光器

3. 幅度連續調製ToF相機+調製光源

4. 傳統相機(CCD/CMOS)

5. 干涉儀

 

1. 條紋相機 + 脈衝激光器

條紋相機是同時具備超高時間分辨與高空間分辨的唯一高端科學測量與診斷儀器——它把時間到來的先後順序轉換成空間進行判斷,根據空間位置窺探瞬態過程。

因此,其優點包括:

  • 高時間分辨率(ps~fs級,甚至能夠達到100 fs)[1]
  • 高空間分辨率: 可達0.03 mm

但缺點也很多:

  • 價格昂貴(50萬RMB+)
  • 光子探測效率低;
  • 高噪聲水平;
  • 需要掃描或其他的光學器件

高價格成本和高時間成本導致使用條紋相機的NLOS研究不是很多,主要集中在2015年之前,經典的包括:

Kirmani, A. et al. (2011) ‘Looking around the corner using ultrafast transient imaging’, International journal of computer vision, 95(1), pp. 13–28.

Velten, A. et al. (2012) ‘Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging’, Nature communications, 3, p. 745.

2. 單光子雪崩二極管 + 脈衝激光器

SPAD是一種具有單光子探測能力的光電探測雪崩二極管。[3]

優點:

  • 有成爲2D陣列的潛力,從而省去掃描時間,大大提高數據獲取速度;
  • 光子探測效率高

特點:

  • 時間分辨率較高:20-100ps;
  • 空間分辨率較高:6-30mm;
  • 價格較高(19萬RMB左右)

包括SPAD sensor和時間相關單光子計數器兩個部分,目前製造商主要是PicoQuant.

可見,SPAD + Pulsed Laser的方法發展前景好,各方面都較好,因此使用SPAD進行3D NLOS imaging的研究非常多,經典的包括:

Buttafava, M. et al. (2015) ‘Non-line-of-sight imaging using a time-gated single photon avalanche diode’, Optics express, 23(16), pp. 20997–21011.

Tsai, C.-Y. et al. (2017) ‘The geometry of first-returning photons for non-line-of-sight imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7216–7224.

O’Toole, M. et al.(2018) ‘Confocal non-line-of-sight imaging based on the light-cone transform’, Nature, 555(7696), p. 338.

Ahn, B. et al. (2019) ‘Convolutional approximations to the general non-line-of-sight imaging operator’, in The IEEE international conference on computer vision (ICCV).

Lindell, D. B., Wetzstein, G. and O’Toole, M. (2019) ‘Wave-based non-line-of-sight imaging using fast f-k migration’, ACM Trans. Graph. (SIGGRAPH), 38(4), p. 116.

Tsai, C.-Y. et al.(2019) ‘Beyond Volumetric Albedo–A Surface Optimization Framework for Non-Line-Of-Sight Imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1545–1555.

Musarra, G. et al. (2019) ‘Non-line-of-sight 3D imaging with a single-pixel camera’, Phys. Rev. Applied, 12(1), p. 6.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Iseringhausen et al.(2020) ‘Non-line-of-sight reconstruction using efficient transient rendering’, ACM Trans. Graph., 39(1).

 

3. 幅度連續調製ToF相機+調製光源

優點:

  • 成本更低:3萬RMB左右

缺點:

  • 需要曝光時間長,因此對環境光敏感;

特點:

  • 空間分辨率: 1 mm左右

這種相機已經在Microsoft Kinect 和 Photonic Mixer Device (PMD)等上進行了商用。

使用這種設備的研究也不多,但也有幾篇比較有影響力,如:

Heide, F. et al. (2014) ‘Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors’, in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

Kadambi, A. et al. (2016) ‘Occluded imaging with time-of-flight sensors’, ACM Transactions on Graphics (ToG), 35(2), pp. 1–12.

 

4. 傳統相機(CCD/CMOS)

傳統相機就是指使用CCD和CMOS陣列的成像設備。

CCD 是指電荷耦合器件,是一種用電荷量表示信號大小,用耦合方式傳輸信號的探測元件,具有自掃描、感受波譜範圍寬、畸變小、體積小、重量輕、系統噪聲低、功耗小、壽命長、可靠性高等一系列優點,並可做成集成度非常高的組合件。電荷耦合器件(CCD)是20世紀70年代初發展起來的一種新型半導體器件。CCD廣泛應用在數碼攝影、天文學,尤其是光學遙測技術、光學與頻譜望遠鏡和高速攝影技術,如Lucky imaging。CCD在攝像機、數碼相機和掃描儀中應用廣泛,只不過攝像機中使用的是點陣CCD,即包括x、y兩個方向用於攝取平面圖像,而掃描儀中使用的是線性CCD,它只有x一個方向,y方向掃描由掃描儀的機械裝置來完成[4]。

CMOS製造工藝也被應用於製作數碼影像器材的感光元件(常見的有CCD和CMOS),尤其C是片幅規格較大的單反數碼相機。再透過芯片上的模數轉換器(ADC)將獲得的影像訊號轉變爲數字信號輸出。

CCD與CMOS圖像傳感器光電轉換的原理相同,他們最主要的差別在於信號的讀出過程不同;由於CCD僅有一個(或少數幾個)輸出節點統一讀出,其信號輸出的一致性非常好;而CMOS芯片中,每個像素都有各自的信號放大器,各自進行電荷-電壓的轉換,其信號輸出的一致性較差。但是CCD爲了讀出整幅圖像信號,要求輸出放大器的信號帶寬較寬,而在CMOS 芯片中,每個像元中的放大器的帶寬要求較低,大大降低了芯片的功耗,這就是CMOS芯片功耗比CCD要低的主要原因。儘管降低了功耗,但是數以百萬的放大器的不一致性卻帶來了更高的固定噪聲,這又是CMOS相對CCD的固有劣勢。[5]

傳統相機能夠測出輻照度,因此能夠進行強度和光斑的測量。傳統相機一般是不含有ToF信息的,但通過和diffuser結合能夠提供被動的ToF信息[6]。

傳統相機無疑是所有設備中最便宜的一種。它常常用於passive NLOS imaging,相關論文主要包括:

Tancik, M., Satat, G. and Raskar, R. (2018) ‘Flash photography for data-driven hidden scene recovery’, CoRR, abs/1810.11710.

Aittala, M. et al. (2019) ‘Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization’, in Advances in Neural Information Processing Systems, pp. 14311–14321.

Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

Saunders, C., et al. (2019) ‘Computational periscopy with an ordinary digital camera’, Nature, 565(7740), pp. 472–475

5. 干涉儀

多個光波之間的干涉能夠提供深度信息。

分辨率:um量級;

例如2019CVPR best paper裏就通過具有時間和空間上不相干的LED的光學相干斷層掃描系統重建出μm量級的硬幣[7]。

缺點:

  • 儀器敏感、精密,需要控制誤差;
  • 商業上很難買到。

相關的論文並不多,主要包括:

Willomitzer, F. et al. (2018) ‘Non-line-of-sight imaging using superheterodyne interferometry’, in Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP). Optical Society of America (Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP)), p. CM2E.1. doi: 10.1364/COSI.2018.CM2E.1.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.(在Femtosecond-scaleexperiments中使用)

 

 

[1]. Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.

[2]. 條紋照相機_百度百科 (no date). Available at: https://baike.baidu.com/item/%E6%9D%A1%E7%BA%B9%E7%85%A7%E7%9B%B8%E6%9C%BA/17649081 (Accessed: 4 July 2020).

[3].SPAD(單光子雪崩二極管)_百度百科 (no date). Available at: https://baike.baidu.com/item/SPAD/22722258#viewPageContent (Accessed: 4 July 2020).

[4]CCD(電荷耦合元件)_百度百科 (no date). Available at: https://baike.baidu.com/item/CCD/362160 (Accessed: 5 July 2020).

[5]CMOS_百度百科 (no date). Available at: https://baike.baidu.com/item/CMOS#2 (Accessed: 5 July 2020).

[6]Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

[7]Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章