接觸智能駕駛有段時間了~
除了mobileye純視覺方案的特立獨行，其他廠商無一例外的都在談傳感器融合，尤其是在2018年各大公司在爭相落地的關鍵時期~
顯然，無論是出於落地成本的考慮、還是交通政策的部分ADAS功能強制要求，傳感器融合是一個必然的趨勢~
下面簡單介紹下自動駕駛常用的傳感器：
1.視覺類攝像機（包括單目、雙目立體視覺、全景視覺及紅外相機）
2.雷達類測距傳感器（激光雷達、毫米波雷達、超聲波雷達等）
其中呢，單目相機主要用於特徵類符號的檢測與識別，如車道線檢測、交通標誌識別、交通燈識別、行人和車輛檢測等，儘管目前來說視覺檢測可靠性並不是很高，但是基於機器學習的視覺計算在自動駕駛普及之日一定會是必不可少的部分；雙目視覺應用於室外場景的確實不多，畢竟雙目的同步和標定是個大問題，目前比較通用的雙目標定做法是採用張正友標定法，利用Camera Calibration Toolbox進行標定；毫米波雷達可能是當前最受歡迎的傳感器了，毫米波，是工作在毫米波波段（millimeter wave），工作頻率在 30～100GHz，波長在1～10mm之間的電磁波，通過向障礙物發射電磁波並接收回波來精確探測目標的方向和距離，其全天候全天時以及準確的測速測距深受開發者的喜愛；當然，激光雷達也是一個在自動駕駛領域非常重要的傳感器了，Lidar利用激光來進行對目標進行探測，通過每分鐘600轉或1200轉的進行掃射，它能非常詳細的獲得一個實時的三維點雲數據，包括目標的三維座標、距離、方位角、反射激光的強度、激光編碼、時間等等，常用的有單線、4線、16線、32線、64線、128線束的，是一個高精度的傳感器，而且其穩定性好、魯棒性高，然而，它的成本卻讓衆多廠商在落地的路上望而卻步，另外，激光受大氣及氣象影響大，大氣衰減和惡劣天氣使作用距離降低，大氣湍流會降低激光雷達的測量精度，激光束窄的情況難以搜索目標和捕獲目標。一般先有其他設備實施大空域、快速粗捕目標，然後交由激光雷達對目標進行精密跟蹤測量。
接下來就來說一說如何實現AEB：
目前，實現AEB的技術主要有三類，分別是基於視覺傳感器、毫米波雷達和激光雷達。由於成本限制因素，國內主要使用前兩種方式。視覺傳感器和毫米波雷達實現對車輛的AEB功能的原理不同：毫米波雷達主要是通過對目標物發送電磁波並接收回波來獲得目標物體的距離、速度和角度。視覺方案稍複雜，以單目視覺方案爲例，它需要先進行目標識別，然後根據目標在圖像中的像素大小來估算目標的距離。
這兩類技術各有優劣。總體來講，攝像頭方案成本低，可以識別不同的物體，在物體高度與寬度測量精度、車道線識別、行人識別準確度等方面有優勢，是實現車道偏離預警、交通標誌識別等功能不可缺少的傳感器，但作用距離和測距精度不如毫米波雷達，並且容易受光照、天氣等因素的影響。毫米波雷達受光照和天氣因素影響較小，測距精度高，但難以識別車道線、交通標誌等元素。另外，毫米波雷達通過多普勒偏移的原理能夠實現更高精度的目標速度探測。
於是就有了第三種方案，將攝像頭和雷達進行融合，相互配合共同構成汽車的感知系統，取長補短，實現更穩定可靠的AEB功能。
傳感器融合的思路與方法：
基於多傳感器信息融合的車輛主動防碰撞控制系統，就是根據多傳感器接收到的車輛前方目標信息和本車的狀態信息，利用多源信息融合技術，識別出本車前方車輛的距離和速度等狀態信息，並進行碰撞危險估計的。顯然，基於多傳感信息融合的車輛主動防碰撞控制系統是一種主動式的防撞、防抱死的汽車安全系統，它使反應時間、距離、速度三個方面都能得到優化控制，可減少駕駛員的負擔和判斷錯誤，對於提高交通安全性將起到重要作用，是實現汽車自動化駕駛的基礎。
回到駕駛場景上：首先攝像頭和毫米波雷達分別針對觀測目標收集數據，然後對各傳感器的輸出數據進行特徵提取與模式識別處理，並將目標按類別進行準確關聯，最後利用融合算法將同一目標的所有傳感器數據進行整合，從而得出關於目標威脅性的一致性結論。
數據融合也有不同的策略，比如有的方案會選擇將不同傳感器各自處理生成的目標數據進行融合，有些會選擇將不同傳感器的原始數據進行融合，避免一些原始數據的丟失。在智能駕駛場景下，視覺和毫米波雷達的數據融合大致有3種策略：圖像級、目標級和信號級。
圖像級融合，是以視覺爲主體，將雷達輸出的整體信息進行圖像特徵轉化，然後與視覺系統的圖像輸出進行融合；目標級融合， 是對視覺和雷達輸出進行綜合可信度加權，配合精度標定信息進行自適應的搜索匹配後融合輸出；信號級融合，是對視覺和雷達傳感器ECU傳出的數據源進行融合。其中，信號級別的融合數據損失最小，可靠性最高，但需要大量的運算。
對於視覺和毫米波雷達的融合，技術實現上的主要難點在於攝像頭和雷達觀測值的匹配、數據融合、多目標場景下有效目標庫的維護等，需要考慮容錯性、靈活性、可拓展性、可靠性、安裝等多方面的因素，首先就要解決的是傳感器之間的時間、空間同步問題。
●空間融合
建立精確的雷達座標系、三維世界座標系、攝像機座標系、圖像座標系和像素座標系之間的座標轉換關係，是實現多傳感器數據的空間融合的關鍵。雷達與視覺傳感器空間融合就是將不同傳感器座標系的測量值轉換到同一個座標系中。由於前向視覺系統以視覺爲主，只需將雷達座標系下的測量點通過座標系轉換到攝像機對應的像素座標系下即可實現多傳感器的空間同步。
根據以上轉換關係，可以得到雷達座標系和攝像機像素座標系之間的轉換關係，如下圖所示。由此，即可完成空間上雷達檢測目標匹配至視覺圖像，並在此基礎上，將雷達檢測對應目標的運動狀態信息輸出。
●時間融合
雷達和視覺信息在除在空間上需要進行融合，還需要傳感器在時間上同步採集數據，實現時間的融合。根據毫米波雷達功能工作手冊，其採樣週期爲50ms，即採樣幀速率爲 20 幀/秒，而攝像機採樣幀速率爲25 幀/秒。爲了保證數據的可靠性，以攝像機採樣速率爲基準，攝像機每採一幀圖像，選取毫米波雷達上一幀緩存的數據，即完成共同採樣一幀雷達與視覺融合的數據，從而保證了毫米波雷達數據和攝像機數據時間上的同步。
許多情況下，在特定的已知外部條件下，僅通過一種傳感器或單個系統，就能夠執行ADAS功能。然而，考慮到路面上有很多不可預計的情況，這還不足實現可靠運行。傳感器融合除了能實現更復雜和自主的功能外，還可以在現有功能中實現更少的誤報和漏報。說服消費者和立法者，使他們相信汽車可以由“一臺機器”自主駕駛，將會十分關鍵。
最後，傳感器數據融合的核心關鍵還是在於採用合適的融合算法。作爲一個新興領域，數據融合目前尚無統一的理論和廣義有效的融合模型和算法，需要根據具體場景來選擇，但可以預見，神經網絡和人工智能等新技術在傳感器數據融合中將起到越來越重要的作用。這也是各行業參與者打造技術壁壘，建立核心競爭力的關鍵所在。