在自動駕駛技術中,感知是最基礎的部分,沒有對車輛周圍三維環境的定量感知,就猶如人沒有了眼睛,無人駕駛的決策系統就無法正常工作。
與其他應用場景相比,自動駕駛的應用場景相對複雜,尤其面對複雜多變的路況環境,感知技術的突破需要依賴相應的數據採集標註項目的支持。
一.項目背景
車輛前置道路信息採集主要解決兩個個關鍵需求:
- 障礙物的距離信息;2. 相對速度向量。
通過對障礙物的連續追蹤,根據距離的變化和時間間隔得到相對速度信息,以滿足自動駕駛相關業務的需求。
多城市多道路,會帶來不同的路況,信號燈種類,人流和車流情況變化,多天氣數據會影響圖像識別精度。
二.項目方案
☆激光雷達+毫米波雷達+單目攝像頭。
通過激光雷達採集點雲數據,生成點雲連續幀數據。在點雲中標註每個障礙物的位置、標籤、ID。激光數據可以精確測量障礙物距離本身的距離信息,同時通過前後幀的同ID車輛位置變化,計算出障礙物相對速度向量信息。
通過毫米波雷達,同樣可以獲得周圍環境的點雲數據,然後通過對連續幀的標註取得距離和相對速度信息。
三.採集方案
☆採集數據+既有數據收集。
對於激光、毫米雷達波和單目攝像頭數據,需要採集新數據。
現有的行車記錄儀數據收集,可以收集多城市,多道路,多天氣下的數據,按照需求的比例分佈。然後根據單目測距的方式進行標註和結果導出。行車記錄儀收集的數據可以作爲單目攝像頭的算法驗證。
四.標註規範
☆標註順序:
從正前方開始找物體——在3D上標註並調框(腦補大小和方向)——在出現的其他方位裏標註對應物——選擇類型、狀態、可見度——順時針回到正前方。
☆標註對象:車、人、物
-乘用車(設計用來載人的車輛)
-卡車(設計用來拉貨的車輛,包括小型皮卡車)
-卡車頭
-拖斗(無論有沒有被拖車連接都要標註,如:油罐,集裝箱)
-巴士(10人以上載客巴士)
-摩托車(有人)
-摩托車(無人)
-自行車(有人)
-自行車(無人)
-自行車架
-集裝箱
-其他交通工具(除以上類型車輛、車上有車的情況)
-成年人
-未成年人
-嬰兒車
-輪椅
-動物
-交通錐桶
-臨時路障
-臨時交通標誌/路標
-可推拉物體
-雜物和垃圾
-帶物體的行人
☆屬性:
-3D可見度
0%-25%
26%-50%
51%-75%
76%-100%
☆車輛狀態:
1)停放(長時間停放,沒有即將運動的趨勢)。
2)停止(如等紅燈,隨時有可能移動的車輛)。
3)運動(正在移動的車輛)。
☆特殊規則:
框體和腦補:
1)緊緻貼合掃描完整的邊緣,不完整的邊緣需要腦補。
2)如果原始點雲只掃描到物體的一部分,需要腦補出合理的尺寸。
3)當點陣不完整,框體應貼合離採集車最近的一側。
4)框體不允許懸空,或是陷入地面。
5)框體不包括車的後視鏡、天線。
3D標註範圍:
1)可行駛區域 120米(採集車可以開到的區域,人行道)。
2)不可行駛區域 90米(被牆體隔離的停車場等)。
標註原則:
1)任何可能危及採集車行駛安全的物體都要標註。
最小3D點陣:
1)大於等於5個點,並且只要可以確定該物體是我們需要標註的對象。
最小2D框體:
1)20x20 pixels(由於過遠導致的,如果腦補超過20x20仍需要標註)。
2)截斷(out of image)超過50%仍要標註(只要2D中出現一點點就要標註)。
五.標註對象類型詳解
需要標註的對象有21種:
乘用小型車、卡車、卡車頭、拖斗、巴士、摩托車、自行車、自行車架、集裝箱、其他交通工具、成人行人、未成年行人、嬰兒車、輪椅、動物、帶物體的行人、雜物或垃圾、交通錐或交通杆、臨時路障、臨時交通標誌/路標、可推拉的物體。
以下選取部分內容簡單介紹:
1.乘用小型車
主要給個人使用的機動車。例如:轎車、兩廂車、小貨車、廂式貨車、mini貨車、SUV以及吉普車。
1)10座以上叫公交。
2)被設計主要用來拉貨物的叫卡車。
2.卡車
主要設計用來拉貨的大型機動車。
包括:皮卡、半掛車、卡車、牽引車。在牽引車後的拖斗需要被獨立標爲“拖斗”。
3.成人行人
注意:框需要包含行人的四肢、動作。例如坐着或站着的成人或小孩。
4.未成年行人
5.交通錐或交通杆
1)所有類型的交通錐標和交通杆。
2)方向朝着採集車,不用太精準。
6.可推拉的物體
物體被設計來讓行人推或拉的。例如手推車、手推車、可推式垃圾箱或購物車。通常這些車不是被設計成載人的。
六.硬件平臺
☆設備清單:
☆設備配置方案:
☆傳感器參數:
七.軟件平臺
☆軟件開發:
☆軟件功能:
本系統由4個激光雷達、ECU融合器、同步時鐘等設備組成。每個雷達對點雲數據進行預處理、分割、特徵提取處理後,將信號送入ECU融合器內進行數據融合、目標跟蹤、分類等,最終輸出目標序列。