車載全景可視系統surroundview

技術方案有哪些?

全景可視系統,也又稱全景泊車等等,市面已經有產品出現,各家的方案看起來又不一樣。

對全景,飛思卡爾freescale、富士通fujitsu擁有比較完整的解決方案,但也有其他公司推出自己的產品,但芯片都基本選用飛思卡爾或富士通的。

從用戶角度來說,全景有以下幾個分類:

圖像是否有拼接? 支持哪些視角功能(廣角或俯視)?是否有3D模型?


0. 幾個攝像頭?

目前主流是四個攝像頭,採用180度以上的廣角攝像頭,如190度;

也有采用更多攝像頭的,如6個。


1. 攝像頭的種類

CCD: 優點是靈敏度高,噪音小,信噪比大。但是生產工藝複雜、成本高、功耗高。

CMOS : 優點是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比較大、靈敏度較低、對光源要求高。

在採用CMOS爲感光元器件的產品中,通過採用影像光源自動增益補強技術,自動亮度、白平衡控制技術,色飽和度、對比度、邊緣增強以及伽馬矯正等先進的影像控制技術,完全可以達到與CCD攝像頭相媲美的效果. 

由於成本原因,車載攝像頭普遍選用cmos攝像頭傳感器。


攝像頭的分辨率:一般車道檢測的攝像頭30萬像素就能滿足需求。但用於全景的攝像頭會採用更高分辨率。


2. 攝像頭的安裝位置

前視攝像頭位置,一般在車標附近的位置;左右攝像頭一般放在倒車鏡附近;後視攝像頭會放在車牌上方的位置。四個攝像頭的水平位置基本相同。

另外,根據不同的車型,攝像頭的安裝位置和高度也不同。

3. 攝像頭的標定

全景攝像頭的標定一般是指針對外參進行標定,得到攝像頭的安裝高度、安裝方位角度。

而攝像頭的內參在出廠時,就能拿到其參數。


在獲取攝像頭的內外參之後,就可以對四個攝像頭的數據進行融合或拼接。

目前,市面上的產品很多都是做到標定後,直接拼接融合就完事了。


標定方法:

張正友平板標定法是介於傳統標定和自動標定之間的方法。既結合了圖像檢測的方法,但又需要人工確定(校正)物理模板點與圖像中檢測點的對應關係。形成超定方程,並求解出較好的結果。

其不足是,手動調整角點順序比較繁瑣,易出錯。


自動標定方法,是採用特徵點跟蹤軌跡的方式,根據多幅圖像的對應關係進行標定,更加靈活。但其爲非線性標定,魯棒性不高。


4. 圖像的拼接

一般單純使用標定後的攝像頭進行 全景圖像的拼接和融合時,在交合重疊區域,會產生盲點的現象,如經過的物體在這個很小的區域會模糊不清或消失。

這是因爲物距的改變,會產生較大的拼接區域誤差。


什麼是景深現象?

當鏡頭聚焦於某一物體時,在這一物體前後一定範圍內,景物記錄的比較清晰,而超出這個範圍,物體就顯得不清晰了。這個就景深原理。決定景深的因素包括:光圈(進入鏡頭的光線的粗細)、焦距、物距。

光圈越小,景深越大,拍攝清晰的前後範圍越大。而廣角鏡頭的景深是比較大的。景深的位置、範圍會隨焦距的不同而變化,魚眼相機需要採用比較大F值,才能獲取較大的景深。


圖像配準的常見方法及優缺點:

1) 基於區域的方法

    a) 像素點的直接的相關性,外加金字塔的多分辨率。 計算量較大,而且對旋轉和縮放效果有一定影響。

    b)基於頻域FFT變換的方法。 在空間頻域中尋找相關性,計算快,對小平移、旋轉及尺度變換的圖像拼接較合適,但對重疊區域較小的情況較差。

2)基於特徵的方法

    a)經典的方法,如基於輪廓、角點檢測算法。harris角點。

    b)尺度不變特徵的SIFT算法,及其改進算法。配準精度高,但速度慢,且原始算法未公開,版權保護。

    c)SURF配准算法。配準精度高,略遜於SIFT,但速度快。


對於魚眼相機的配準,一般需要:

1)畸變校正。4個相機都是190或180左右的視角的情況,畸變校正後,即使損失一部分邊緣圖像,仍然會有一部分圖像重合。

2)配準。如果有相機內外參的先驗知識的情況下,配準,可以採用基於改進的區域配準方法,效果好,且速度快。 基於特徵的方法也可以嘗試。

3)融合或拼接。直接採用拼接的方式,或採用圖像疊加融合的方式,或增強邊緣的方式,或用小波等等。


採用配準方式進行拼接和融合的產品,效果會好很多。


由於配準會比較耗費時間,而配準的區域可能又不斷變化,所以,配準過程不必對拍攝的每幅圖像都進行。


5. 攝像頭視角如何變換?3D模型如何建立?

俯視圖:每個攝像頭都有內外參,所以,其俯視圖也可以比較輕鬆的獲取,然後進行拼接,得到車輛周圍比較完整的俯視圖。

俯視圖,對於直立的物體會有很大的形變,看起來不舒服,一種改善的方法就是降低俯視虛擬相機的高度,這樣直立物體的形變會減輕,但是對地面直線物體又會產生魚眼式的形變,這個需要一個折中。

3D模型:其實,就是將幾個魚眼攝像頭的座標系統一轉換到一個世界座標系中,並建立一個碗狀的三維虛擬成像面,最後建立三維模型。

富士通fujitsu的方案是比較成熟的。

查了一些資料,沒有翻到其詳細的算法過程,估計是預先建立一個3D的投射曲面,然後,將整個魚眼相機拼接的圖像投射到這個曲面上。這個過程可以使用查找表,能提高運算速度,簡化運算過程。

這個過程需要結合攝像頭的景深,內外參數,地面俯視等。


本文中,有些地方是猜測或看的資料不全,請大家指正。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章