多傳感器信息融合(標定, 數據融合, 任務融合)

文章目錄

• 1. 引言
• 2. 多傳感器標定
  • 2.1 標定場地
  • 2.2 相機到相機
  • 2.2 相機到多線激光雷達標定
  • 2.3 相機到毫米波雷達標定
  • 2.4 相機到IMU標定
  • 2.5 論文總結
• 3. 數據層融合
  • 3.1 融合的傳統方法
  • 3.2 深度學習方法
• 4. 任務層融合
  • 4.1 傳統之障礙物檢測跟蹤
  • 4.2 傳統之多傳感器定位
  • 4.3 深度學習之障礙物檢測跟蹤
  • 4.4 深度學習之定位

 

1. 引言

自動駕駛感知和定位中傳感器融合成了無人駕駛領域的趨勢，融合按照實現原理分爲硬件層的融合, 如禾賽和Mobileye等傳感器廠商, 利用傳感器的底層數據進行融合；數據層, 利用傳感器各種得到的後期數據，即每個傳感器各自獨立生成目標數據，再由主處理器進行融合這些特徵數據來實現感知任務；任務層, 先由各傳感器完成感知或定位任務, 如障礙物檢測，車道線檢測，語義分割和跟蹤以及車輛自身定位等, 然後添加置信度進行融合。

2. 多傳感器標定

傳感器標定是自動駕駛的基本需求，良好的標定是多傳感器融合的基礎, 一個車上裝了多個/多種傳感器，而它們之間的座標關係是需要確定的。

這個工作可分成兩部分：內參標定和外參標定，內參是決定傳感器內部的映射關係，比如攝像頭的焦距，偏心和像素橫縱比（+畸變係數），而外參是決定傳感器和外部某個座標系的轉換關係，比如姿態參數（旋轉和平移6自由度）。

攝像頭的標定曾經是計算機視覺中3-D重建的前提，張正友老師著名的的Zhang氏標定法，利用Absolute Conic不變性得到的平面標定算法簡化了控制場。

另外在自動駕駛研發中，GPS/IMU和攝像頭或者激光雷達的標定，雷達和攝像頭之間的標定也是常見的。不同傳感器之間標定最大的問題是如何衡量最佳，因爲獲取的數據類型不一樣：

• 攝像頭是RGB圖像的像素陣列；
• 激光雷達是3-D點雲距離信息（有可能帶反射值的灰度值）；
• GPS-IMU給的是車身位置姿態信息；
• 雷達是2-D反射圖。

另外，標定方法分targetless和target兩種，前者在自然環境中進行，約束條件少，不需要用專門的target；後者則需要專門的控制場，有ground truth的target，比如典型的棋盤格平面板。

這裏僅限於targetless方法的討論，主要利用Apollo中的標定工具對標定各個傳感器進行研究。

2.1 標定場地

我們的標定方法是基於自然場景的，所以一個理想的標定場地可以顯著地提高標定結果的準確度。我們建議選取一個紋理豐富的場地，如有樹木，電線杆，路燈，交通標誌牌，靜止的物體和清晰車道線。下圖是一個較好的標定環境示例：

2.2 相機到相機

智能車一般會有多個相機, 長焦距的用來檢測遠處場景(視野小), 短焦距檢測近處(視野大).以Apollo的標定方法爲例:
基本方法：根據長焦相機投影到短焦相機的融合圖像進行判斷，綠色通道爲短焦相機圖像，紅色和藍色通道是長焦投影后的圖像，目視判斷檢驗對齊情況。在融合圖像中的融合區域，選擇場景中距離較遠處（50米以外）的景物進行對齊判斷，能夠重合則精度高，出現粉色或綠色重影（錯位），則存在誤差，當誤差大於一定範圍時（範圍依據實際使用情況而定），標定失敗，需重新標定（正常情況下，近處物體因受視差影響，在水平方向存在錯位，且距離越近錯位量越大，此爲正常現象。垂直方向不受視差影響）。
結果示例：如下圖所示，圖2爲滿足精度要求外參效果，圖3爲不滿足精度要求的現象，請重新進行標定過程。

• 良好的相機到相機標定結果，中間部分爲融合結果，重疊較好:
  
• 錯誤的相機到相機標定結果，，中間部分爲融合結果，有綠色重影：
  

2.2 相機到多線激光雷達標定

基本方法：在產生的點雲投影圖像內，可尋找其中具有明顯邊緣的物體和標誌物，查看其邊緣輪廓對齊情況。如果50米以內的目標，點雲邊緣和圖像邊緣能夠重合，則可以證明標定結果的精度很高。反之，若出現錯位現象，則說明標定結果存在誤差。當誤差大於一定範圍時（範圍依據實際使用情況而定），該外參不可用。

• 良好的相機到多線激光雷達標定結果:
  
• 錯誤的相機到多線激光雷達標定結果：
  

2.3 相機到毫米波雷達標定

基本方法：爲了更好地驗證毫米波雷達與相機間外參的標定結果，引入激光雷達作爲橋樑，通過同一系統中毫米波雷達與相機的外參和相機與激光雷達的外參，計算得到毫米波雷達與激光雷達的外參，將毫米波雷達數據投影到激光雷達座標系中與激光點雲進行融合，並畫出相應的鳥瞰圖進行輔助驗證。在融合圖像中，白色點爲激光雷達點雲，綠色實心圓爲毫米波雷達目標，通過圖中毫米波雷達目標是否與激光雷達檢測目標是否重合匹配進行判斷，如果大部分目標均能對應匹配，則滿足精度要求，否則不滿足，需重新標定。

• 良好的毫米波雷達到激光雷達投影結果:
  
• 錯誤的毫米波雷達到激光雷達投影結果:
  

2.4 相機到IMU標定

雖然Apollo中沒有, 但這是視覺slam中的常見傳感器標定, 本人在近期會寫一個相關的博客。
利用Kalibr 對 Camera-IMU 進行標定

2.5 論文總結

最近相關的標定方面的論文也出現了不少, 奇點的黃裕博士的知乎專欄有總結

3. 數據層融合

有些傳感器之間很難在硬件層融合，比如攝像頭或者激光雷達和毫米波雷達之間，因爲毫米波雷達的目標分辨率很低（無法確定目標大小和輪廓），但可以在數據層層上探索融合，比如目標速度估計，跟蹤的軌跡等等。
這裏主要介紹一下激光雷達和攝像頭的數據融合，實際是激光雷達點雲投影在攝像頭圖像平面形成的深度和圖像估計的深度進行結合，理論上可以將圖像估計的深度反投到3-D空間形成點雲和激光雷達的點雲融合，但很少人用。原因是，深度圖的誤差在3-D空間會放大，另外是3-D空間的點雲分析手段不如圖像的深度圖成熟，畢竟2.5-D還是研究的歷史長，比如以前的RGB-D傳感器，Kinect或者RealSense。

相機和激光雷達的數據層融合原因：
在無人駕駛環境感知設備中，激光雷達和攝像頭分別有各自的優缺點。
攝像頭的優點是成本低廉，用攝像頭做算法開發的人員也比較多，技術相對比較成熟。攝像頭的劣勢，第一，獲取準確三維信息非常難（單目攝像頭幾乎不可能，也有人提出雙目或三目攝像頭去做）；另一個缺點是受環境光限制比較大。
激光雷達的優點在於，其探測距離較遠，而且能夠準確獲取物體的三維信息；另外它的穩定性相當高，魯棒性好。但目前激光雷達成本較高，而且產品的最終形態也還未確定。

3.1 融合的傳統方法

• bayesia filter
  
• guided image filtering

• 傳統形態學濾波法

3.2 深度學習方法

(1) “Propagating Confidences through CNNs for Sparse Data Regression“, 提出normalized convolution （NConv）layer的改進思路，訓練的時候NConv layer通過估計的confidence score最大化地融合 multi scale 的 feature map, 算法如下圖:

（2）ICRA的論文High-precision Depth Estimation with the 3D LiDAR and Stereo Fusion
只是在合併RGB image和depth map之前先通過幾個convolution layer提取feature map：

（3）法國INRIA的工作，“Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation“
作者發現CNN方法在早期層將RGB和深度圖直接合並輸入性能不如晚一些合併（這個和任務層的融合比還是early fusion），這也是它的第二個發現，這一點和上個論文觀點一致。算法流程：

前後兩種合併方式的結果示意：

4. 任務層融合

對於攝像頭和激光雷達攝像頭的感知任務來說, 都可用於進行車道線檢測。除此之外，激光雷達還可用於路牙檢測。對於車牌識別以及道路兩邊，比如限速牌和紅綠燈的識別，主要還是用攝像頭來完成。如果對障礙物的識別，攝像頭可以很容易通過深度學習把障礙物進行細緻分類。但對激光雷達而言，它對障礙物只能分一些大類，但對物體運動狀態的判斷主要靠激光雷達完成。任務級融合：障礙物檢測/分類，跟蹤，分割和定位。有時候融合可能在某一級的特徵空間進行，這個也會隨任務不同而變化。

4.1 傳統之障礙物檢測跟蹤

• 雙目和激光雷達融合

法國INRIA利用做十字路口安全駕駛系統的障礙物檢測[1]。

雙目算法:

• 激光雷達和單攝像頭融合
  用一個Bayesian分類器合併兩個檢測器的結果送進跟蹤器[2], 算法流程:
  
• 單目和激光雷達融合
  圖像數據的檢測器用DPM算法，激光雷達點雲數據檢測採用自己提出的3D Morph算法，融合方式如加權和[3], 算法流程:
  
• 激光雷達，攝像頭和毫米波雷達融合
  把激光雷達，攝像頭和毫米波雷達的數據在障礙物檢測任務進行融合, 基於D-S證據理論[4]
  

4.2 傳統之多傳感器定位

• 激光雷達64線，雷達，攝像頭，GPS-IMU（RTK），還有HD Map

百度Apollo傳感器融合用於車輛定位, 傳感器配置有激光雷達64線，雷達，攝像頭，GPS-IMU（RTK），還有HD Map。整個融合框架是基於EKF（擴展卡爾曼濾波器）：估計最優的position, velocity, attitude (PVA)[5]。

-視覺里程計和激光里程計
該方法是在VO的基礎上增加激光雷達點雲信息[6]。這是系統框架：

4.3 深度學習之障礙物檢測跟蹤

• 最常見的是利用激光雷達和相機進行障礙物檢測:

採用激光雷達點雲的鳥瞰圖和前視圖像兩個方向的投影和RGB圖像共同構成目標檢測的輸入，檢測器類似兩步法，其中region proposal被3D proposal導出的bird view/frontal view proposal和2D image proposal結合所取代[7]。

• 利用激光雷達和相機進行障礙物跟蹤層融合:
  還是採用tracking by detection思路，訓練了三個CNN模型，即detectionnet，matchingnet和scoringnet[8]。
  

4.4 深度學習之定位

• 定位
  激光雷達灰度圖像（反射值）和點雲定位進行融合, 兩種定位方法都用了卷積網絡進行搜索
  採用激光雷達掃描(利用卷積網絡)的地面反射圖來定位車輛，下面可以看到這種灰度圖的樣子。
  

引用文獻
[1] Intersection Safety using Lidar and Stereo sensors.
[2] LiDAR and Camera-based Pedestrian and Vehicle Detection.
[3] 2D/3D Sensor Exploitation and Fusion for Detection.
[4] Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
[5] Robust and Precise Vehicle Localization based on Multi-sensor Fusion in Diverse City Scenes.
[6] Real-time Depth Enhanced Monocular Odometry.
[7] Multi-View 3D Object Detection Network for Autonomous Driving.
[8] End-to-end Learning of Multi-sensor 3D Tracking by Detection.
[9] Learning to Localize Using a LiDAR Intensity Map.