選自IEEE Spectrum
作者：Mark Anderson
機器之心編譯
計算機視覺處理高分辨率的圖像需要非常多的計算量，因此很多數據集的圖像分辨率都非常小。而近日，工程師們用一塊玻璃、一個光電探測器和一些軟件，開發了一種「透視」相機，這種不帶鏡頭的相機能拍攝分辨率非常小的圖像，並抽象出物體的主要輪廓。因此使用這種相機拍攝的圖像能大量降低計算機視覺所需要的計算力。同時，他們也在開發用機器學習算法處理更復雜圖像的技術。
以前的相機配備自己的專門設備，如鏡頭和膠捲，而且照相得去照相館。後來，手機、平板電腦、筆記本電腦和視頻遊戲機都有了自己的照相功能。現在，相機似乎會在某天變得和玻璃一樣不顯眼，甚至它都不再需要鏡頭。
根據新的研究，壓在窗戶邊緣的光電探測器可以檢測玻璃內部的反射光，就像光信號穿過光纜一樣。對檢測到的微小光線進行一些巧妙的處理，可以讓玻璃面板成爲一個巨大的照相機鏡頭。
由這種相機產生的粒狀圖像（想象一下像素化、失真和分辨率較低的圖像）雖然暫時還沒法和傳統相機的效果相比。但是對於很多計算機視覺任務來說，窗玻璃或一塊汽車擋風玻璃拍攝的分辨率足以滿足圖像處理算法或神經網絡所需的信息。
這是他們對 LED 陣列圖像的拍攝效果：
其中左列是原始圖像，中間列是圖像傳感器接收到的輸入，右列是計算機重構後的圖像。
猶他大學電氣和計算機工程副教授 Rajesh Menon 說，現代照相機拍攝的圖像中，其實有很多是我們用肉眼無法看到的。它們只能被用來處理安全的照相機算法或自動車輛圖像傳感器看到，而這些我們肉眼無法看到的圖像正變得越來越多。
所以，Menon 問道，「如果機器相比人類能夠看到的圖像和視頻更多，那我們爲什麼不考慮爲機器重新設計相機呢？這樣能讓我們脫離之前的窘境，以非人類的角度來看待相機。」
換而言之，計算機視覺算法並不如人眼那樣總需要高分辨率和高圖像保真率。它們能從 Menon 和 Ganghun Kim 的「透明無鏡頭相機」中獲得大量信息，即使它拍攝的圖像質量並不高，這樣成本和佔用面積都會大量減小。他們的技術已經申請了專利，該技術對視覺媒介本身並沒有要求，可以是玻璃、塑料或有機玻璃等。
他們將一個現成的光電探測器（8 分辨率、640×480 像素）連接到有機玻璃的邊緣，平滑連接的邊緣且準備與成像設備連接。他們隨後在有機玻璃其餘周邊放置反光帶。Menon 說他們可以在沒有反光帶的情況下成像，只不過反光帶提高了信噪比。
對於這種概念驗證，實驗只需要保持簡單的視野。他們在窗格前放置了一排尺寸爲 32X32 的 LED 燈。然後，當 1024 束光各自被照亮時，他們觀察到達光電探測器的信號。因此，來自 LED 陣列的任何圖像，至少在一級近似中，將僅僅是每個點亮的單獨 LED 燈信號的線性組合。
如果機器相比人類能夠看到的圖像和視頻，那我們爲什麼不考慮爲機器重新設計相機呢？——猶他大學，Rajesh Menon
Menon 表示，在這個項目中，他們開發了一種傳統信號處理算法，它能夠藉助光電探測器接收的信號重構圖像。他們把這一步稱爲「反轉問題」，因爲他們的算法利用複雜、混亂的信號作爲輸入，並利用探測器檢測到的光子來生成可能的目標。
「我們正在檢測「光子」在與特定目標對應的空間中的分佈，」他表示，「我們喜歡看一對一的圖。相機的原理正是如此。此處用到的是一對多的圖，因此我們要解決反轉問題。」
這也是這些玻璃面板「相機」與計算機視覺相關的項目完美契合的原因。圖像質量和可分解的信息對於計算機視覺來說可能已經足夠好了，但還不能（也許永遠都不能）取代基於鏡頭、拍給人看的傳統相機。
Menon 提到，他的團隊目前正在開發一種機器學習算法用於學習更復雜的圖像，如可以被檢測並識別爲數值的手寫數字。他指出，該技術可能首先被應用在 VR 或 AR 眼鏡中。這些眼鏡的圖像生成和圖像展示硬件已然非常笨重，眼球追蹤攝像頭可能是個累贅。因此，如果能夠用這款不帶攝像頭的透視相機就能追蹤用戶的眼動並獲取足夠優質的信息該有多好。
用一項品質遠遠低於當前最佳水平的技術作爲突破聽起來非常諷刺。但 Menon 表示，或許轉變思維方式，重新設計在 AI 及圖像處理系統中「足夠優質」的技術可以讓我們前進一大步。就像蒼蠅的眼睛一樣，AI 世界裏最重要的不是單個數據的品質，而是數據源的增殖能力。
這也是爲什麼相機和玻璃板在未來數年會越來越接近的原因，至少對於計算機視覺算法來說是這樣。
論文：Computational imaging enables a「see-through」lens-less camera
論文地址：https://www.osapublishing.org/oe/abstract.cfm?uri=oe-26-18-22826
摘要：傳統相機會遮擋需要記錄的場景，而這裏我們將一個圖像傳感器（沒有鏡頭）放在透明窗口的邊緣，並通過該窗口觀察物體圖像。這一過程首先可以通過圖像傳感器收集散射光，然後通過解光散射的逆問題來實現圖像的重構。因此，我們能形成簡單的圖像，並且在物距 150mm、焦距 10mm 的情況下有 0.1 line-pairs/mm 的空間分辨率。我們進一步展示了兩種物體的成像：LED 陣列和傳統的 LCD 屏幕。最終，我們演示了彩色和視頻成像。
原文鏈接：https://spectrum.ieee.org/tech-talk/computing/software/a-lensless-camera-built-specially-for-ai-and-computer-vision-programs-sorry-humans
本文爲機器之心編譯，轉載請聯繫本公衆號獲得授權。