視頻鏈接：http://bit.baidu.com/Course/detail/id/289.html http://bit.baidu.com/Course/detail/id/290.html
講師：夏添 Apollo主任架構師
感知算法
簡單列一下這一節內容的主要章節，這一集視頻有1個小時，內容很豐富，夏添老師也是我看了這麼多集課程後感覺講解的最好的一位。
- Lidar感知：
- 啓發式方式：Ncut
- DL方式：CNNSeg
- 視覺感知：
- DL檢測
- 跟蹤
- 紅綠燈識別
- Radar感知
- 超聲波感知
Lidar感知
激光雷達採集到的是點雲信息，apollo無人車上使用的是64線激光雷達，轉速是10HZ，所以大概一幀點雲能夠採集幾十萬個點，這些點需要經過算法，最後估計出道路上的障礙物，包括類別、朝向、速度等。
其中算法比較核心的一個工作是點雲分割。
啓發式方式
基於一個假設，就是：空間平滑性假設，即認爲在空間上連續的點應該屬於一個障礙物（其實我認爲這個假設本身就已經不完全成立，從而限制了算法的普遍適用性）。
然後將點雲構建成Graph，比如使用KNN來劃分Graph，Graph的組成包括點、線和權重，劃分成cluster，可以認爲每個cluster是一個障礙物。
之後可能還會有一個異常過濾，最後得到估計結果。
該方法的優點是很容易解釋，進而可以通過解釋來更新算法。
該方法的缺點是模型相對簡單，難以適應複雜的道路情況，對於像草叢、防護欄這種特別的case很難區分。
核心原因是缺少語義級別的信息。
DL方式
深度學習算法是採用數據驅動的方法，替代掉由人來標定特徵的方法，採用機器來標定，這樣提取的信息會更加豐富和有效。apollo無人車項目上開源的一個算法是CNNSeg，這個算法是2015年百度實驗室發表的論文中發明的算法。採用CNN來提取特徵信息。
DL方式能夠在一個更加全局的角度來利用數據提取信息，來解決點雲分割問題。
通過大量數據來訓練模型，這需要去真實的採集環境信息。
視覺感知
視覺感知是在視覺ADAS發展而來的，提到了一家公司叫mobileye，做ADAS很厲害。
然而，視覺感知相對於ADAS來說也有特殊之處，DL在視覺感知中扮演重要作用，視覺感知是DL加後處理的算法組合，這需要對車載計算硬件進行升級，對數據的需求也大，而且需要評估如何保證車輛安全性。
算法相比較ADAS的特點：
- 無人車視覺感知是3D的，ADAS是2D的
- 無人車視覺感知是環視，ADAS是前向
- 無人車視覺感知是感知、定位、和地圖的技術融合
視覺檢測
現在的檢測主要是在CV裏做，而不是在AD裏做，傳統的檢測更寬泛，但在自動駕駛技術中，是有很多內在約束的，比如周圍環境的狀態、尺寸、包含物體的特徵（主要是車、路和路邊的場景）。
檢測需要輸出信息來輔助後處理，是一個持續的過程，幀連貫，需要考慮歷史幀。
整個感知的過程分爲：環境信息->檢測->2D到3D->追蹤->位置速度等信息，這樣一個過程，或者也有不到3D，2D直接跟蹤的過程。之前CNN只負責檢測工作，現在後邊的過程也開始用CNN做。
CNN分割
與檢測相區別的一點是，對物體不同粒度的差別，分割的粒度更粗，而方法是類似的。
- 一個應用是場景分割，通過Lidar點雲和圖像分割相結合的方式做數據融合。
- 還有區分可行駛區域，障礙物互補，區分非結構化道路與結構化道路。
- 還有是車道線區分（可以用檢測或分割來做），遮擋的車道線可以通過DL學習出來，車道線要做非線性擬合，求出方程，最後用到3D模型中或者是給PNC。
後處理
這塊講解的特別詳細。
- 2D到3D的幾何計算
- 相機Pose的影響，因爲車輛會抖動，所以相機pose實際上是會變化的，這個對圖像有一定影響，需要實時的估計相機的pose
- 接地點識別、2D框（障礙物最小外框），絕對尺寸（障礙物固定的尺寸大小）
- 穩定性（幀與幀之間的平滑性，避免突變）
- 時序信息計算：跟蹤
- 相機的幀率不能太低，一般要大於15fps，太低很難跟蹤
- 不能太耗時，跟蹤每一個物體，所以跟蹤階段的總時間是每個的時間乘物體總數，所以要輕量化（學術上很多跟蹤算法不能用，因爲比較耗時）
- 利用CNN模型的特徵，利用CNN輸出的類別的結果做跟蹤
- 多相機的環視融合
- 環視（多相機）佈局很重要，影響環視融合
- 需要做好冗餘區域覆蓋，否則識別會困難
最後就是，前邊3個模塊密不可分
感知紅綠燈
要求在距離停止線50m到-2m距離內，準確感知到紅綠燈，主要要點：
- 綠燈的識別準確度要很高
- 各種場景都要能正常工作（雨天霧天之類）
- 各種紅綠燈都要能兼容（紅綠燈樣式非常多）
現有的技術：
- camera的參數要好，分辨率高，雙camera（長短焦搭配）
- 高精地圖的交互（提高魯棒性，現在還是很依賴於高精地圖）
- 深度學習，主要用於顏色判斷（這個模塊是深度學習用在apollo智能駕駛上的第一個模塊，實際效果可以）
感知紅綠燈實際上是一個很複雜的工作。
Radar和超聲波
最後這塊，用視頻和照片來展示。
最後
老師留下開放性問題，未來無人駕駛的感知傳感器，Lidar和camera更傾向於哪個？我認爲未來隨着算法技術的發展，camera會更加重要，但是Lidar也不會被取代，因爲camera無法做到lidar的測距精度，雖然我們人類開車不需要很精確的距離感知，但是對於無人車不一樣，因爲無人駕駛需要很多的信息來輔助，而且很多信息也是非常精確的，比如高精地圖這些，所以lidar依然在測距這塊無法被替代。同時，也很憧憬camera這塊視覺的技術能更加進步，視覺感知能夠達到或超過人類的水平，這個可能會在很長時間會是無人駕駛技術發展的一個瓶頸。