作者:PRATEEK JOSHI
翻譯:張若楠
校對:吳金笛
本文長度爲2600字,建議閱讀10分鐘
本文爲一個從圖像預處理角度入手的無人駕駛車道識別實戰項目。
作者序
大約十年前,我瞥見了第一輛自動駕駛汽車,當時Google仍在對初代無人車進行測試,而我立刻被這個想法吸引了。誠然,在將這些概念開源給社區之前,我必須等待一段時間,但是這些等待是值得的。
我最近嘗試了一些與計算機視覺有關的自動駕駛理念,其中包括車道檢測。設想一下,在設計任何自動駕駛汽車時,車道檢測都是一個非常核心的技術。我們將基於這段視頻搭建車道檢測系統:https://youtu.be/sYhZbhT-Smw。很酷對吧?我將使用OpenCV庫,通過計算機視覺,引導你進入車道檢測和自動駕駛這一領域。當然,在本教程中我們還將講解Python代碼。
對於任何深度學習或計算機視覺新手,請注意--如果你要入門,請查看以下課程及產品。這些資源可以很好的助力你開始計算機視覺之旅:
深度學習基礎
https://courses.analyticsvidhya.com/courses/fundamentals-of-deep-learning
使用深度學習的計算機視覺
https://courses.analyticsvidhya.com/courses/computer-vision-using-deep-learning-version2
目錄
1. 瞭解車道檢測的概念
2. 問題陳述
3. 什麼是幀蒙版(Frame Mask)?
4. 用於車道檢測的圖像預處理
5. 在Python中使用OpenCV進行車道檢測實戰
車道檢測的概念
那麼什麼是車道檢測?維基百科是這樣定義車道的:“車道是道路(行車道)的一部分,專門用於單行車輛,以控制和引導駕駛員並減少交通衝突。”
Figure 1:https://en.wikipedia.org/wiki/Lane
對此進行正式定義很重要,因爲它使我們能夠在項目中使用固定的車道定義,這樣在構建系統時我們不會產生任何歧義。
如我之前提到的,車道檢測是自動駕駛的重要組成部分。它是推動場景理解的最重要的研究主題之一。一旦獲得車道位置,車輛將知道要去哪裏,並避免駛入其他車道或離開道路的風險。這可以防止駕駛員/駕駛系統偏離行車軌道。
以下是一些隨機道路圖像(第一行)及其檢測到的車道(第二行):
Figure 2 https://github.com/qinnzou/Robust-Lane-Detection
問題陳述
我們希望執行的任務是視頻中的實時車道檢測。我們可以通過多種方式做車道檢測。可以使用樣本訓練的方法,例如在帶有標註的視頻數據集上訓練深度學習模型,或者使用預先訓練好的模型。
但是,也有更簡單的方法來執行車道檢測。在本文中,我將向你展示如何在不使用任何深度學習模型的情況下做到這一點。我們將在Python中用到廣受歡迎的OpenCV庫。
以下是我們將要處理的視頻中的一幀:
如圖片中所示,我們有四條用白色車道標記隔開的車道。因此要檢測一條車道,我們必須檢測到該車道兩側的白色標記。這就引出了關鍵問題 -- 我們如何檢測車道標記線?
除了車道線外,場景中還有很多其他對象。道路上有車輛,路旁的障礙物,路燈等。在視頻中,每一幀的場景都在變化。這很好地反映了現實生活中的駕駛情況。因此,在解決車道檢測問題之前,我們必須找到一種方法來忽略駕駛場景中的無關物體。我們可以直接上手的一件事就是縮小關注範圍。相較於使用整個幀,我們只使用畫面中的一部分。在下圖中,除車道標記外,其他所有內容都隱藏在該幀中。隨着車輛的移動,車道標記只會在該區域出現得更多或更少。
在下一節,我將向你展示如何編輯視頻的邊框以選擇特定區域。此外你還將瞭解一些必要的圖像預處理操作。
什麼是蒙版(Frame Mask)?
在這裏,蒙版不過是一個NumPy數組。當我們想對圖像應用遮罩時,我們只需將圖像中所需區域的像素值更改爲0或255,或任何其他數字。下面給出的是圖像遮罩的示例。圖像中某個區域的像素值已設置爲0:
這是一種非常簡單但有效的方法,可以從圖像中刪除不需要的區域和對象。
車道檢測的圖像預處理
我們將首先對輸入視頻中的所有幀應用蒙版。然後,我們將應用圖像閾值處理,然後進行霍夫線變換來檢測車道標記。
圖像閾值處理
在該方法中,我們基於一個閾值,將灰度圖像的像素值分配爲黑色或者白色。如果像素的值大於閾值,則爲其分配一個值(黑色或白色),否則爲另一個顏色。
如你在上方所見,在對蒙版圖像應用閾值設置後,我們在輸出的圖像中只留下了車道標記。現在,我們可以藉助霍夫線變換輕鬆地檢測到這些標記。
霍夫線變換
霍夫變換是一種檢測可以數學表示的形狀的技術。
例如,它可以檢測矩形,圓形,三角形或直線等形狀。而我們關注的對象是可以表示爲線的車道標記。我非常建議你查閱霍夫變換的資料:
https://opencvpythontutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html
在執行圖像閾值處理後,在圖像上應用霍夫線變換,我們將得到以下的輸出圖像:
我們需要針對所有幀執行此過程,然後將生成的幀拼接到新視頻中。
在Python中使用OpenCV實現車道檢測
現在該用Python實現這個車道檢測項目了!我建議使用Google Colab,因爲構建車道檢測系統將需要很大計算力。
首先,導入所需的庫:
import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt
讀取視頻幀
我已經從該YouTube視頻中採樣了一些視頻幀。您可以從此鏈接下載。
https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view
# get file names of frames
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))
# load frames
col_images=[]
讓我們繪製其中一幀:
# specify frame index
idx = 457
# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")
創建幀蒙版
我們感興趣的區域是多邊形。我們要掩蓋除此區域以外的所有內容。因此,我們首先必須指定多邊形的座標,然後使用它來準備蒙版:
# create a zero array
stencil = np.zeros_like(col_images[idx][:,:,0])
# specify coordinates of the polygon
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])
# fill polygon with ones
cv2.fillConvexPoly(stencil, polygon, 1)
# plot polygon
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()
# apply polygon as a mask on the frame
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)
# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()
圖像預處理
我們必須對視頻幀執行幾個圖像預處理操作,以檢測所需的車道。預處理操作爲:
1. 圖像閾值處理
2. 霍夫線變換
1.圖像閾值處理
# apply image thresholding
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)
# plot image
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()
2. 霍夫線變換
lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
# create a copy of the original frame
dmy = col_images[idx][:,:,0].copy()
# draw Hough lines
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
# plot frame
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()
現在,我們將所有這些操作應用於每個幀。我們還將結果幀保存在新目錄中:
cnt = 0
for img in tqdm_notebook(col_images):
# apply frame mask
masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)
# apply image thresholding
ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)
# apply Hough Line Transformation
lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
dmy = img.copy()
# Plot detected lines
try:
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
cv2.imwrite('detected/'+str(cnt)+'.png',dmy)
except TypeError:
cv2.imwrite('detected/'+str(cnt)+'.png',img)
cnt+= 1
視頻預處理
# input frames path
pathIn= 'detected/'
# output path to save the video
pathOut = 'roads_v2.mp4'
# specify frames per second
fps = 30.0
from os.path import isfile, join
# get file names of the frames
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))
接下來,我們將所有包含檢測到的車道的幀放入列表中:
frame_list = []
for i in tqdm_notebook(range(len(files))):
filename=pathIn + files[i]
#reading each files
img = cv2.imread(filename)
height, width, layers = img.shape
size = (width,height)
#inserting the frames into an image array
frame_list.append(img)
最後,我們現在可以使用以下代碼將幀組合成視頻:
# write the video
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)
for i in range(len(frame_array)):
# writing to a image array
out.write(frame_array[i])
out.release()
搞定!這就是你的Python車道檢測系統。
總結
在本教程中,我們介紹了一種簡單的車道檢測技術。我們沒有使用任何模型或複雜的圖像功能。相反,我們的解決方案僅基於某些圖像預處理操作。
但是,在許多情況下,此解決方案將不起作用。例如,當沒有車道標記或道路上的交通過多時,該系統將發生故障。在車道檢測中有更復雜的方法可以克服此類問題。如果你對自動駕駛汽車的概念感興趣,我希望你繼續探索這個話題。
原文標題:
Hands-On Tutorial on Real-Time Lane Detection using OpenCV (Self-Driving Car Project!)
原文鏈接:
https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/
編輯:於騰凱
校對:呂豔芹
譯者簡介
張若楠,UIUC統計研究生畢業,南加州傳媒行業data scientist。曾實習於國內外商業銀行,互聯網,零售行業以及食品公司,喜歡接觸不同領域的數據分析與應用案例,對數據科學產品研發有很大熱情。
翻譯組招募信息
工作內容:需要一顆細緻的心,將選取好的外文文章翻譯成流暢的中文。如果你是數據科學/統計學/計算機類的留學生,或在海外從事相關工作,或對自己外語水平有信心的朋友歡迎加入翻譯小組。
你能得到:定期的翻譯培訓提高志願者的翻譯水平,提高對於數據科學前沿的認知,海外的朋友可以和國內技術應用發展保持聯繫,THU數據派產學研的背景爲志願者帶來好的發展機遇。
其他福利:來自於名企的數據科學工作者,北大清華以及海外等名校學生他們都將成爲你在翻譯小組的夥伴。
點擊文末“閱讀原文”加入數據派團隊~
轉載須知
如需轉載,請在開篇顯著位置註明作者和出處(轉自:數據派ID:DatapiTHU),並在文章結尾放置數據派醒目二維碼。有原創標識文章,請發送【文章名稱-待授權公衆號名稱及ID】至聯繫郵箱,申請白名單授權並按要求編輯。
發佈後請將鏈接反饋至聯繫郵箱(見下方)。未經許可的轉載以及改編者,我們將依法追究其法律責任。
點擊“閱讀原文”擁抱組織