大約十年前，當谷歌還在試驗一輛原型車的時候，我想到了自己的第一輛自動駕駛汽車，當時我立刻被這個想法迷住了。不可否認的是，我必須等待一段時間，直到這些概念向社區開放，現在看來等待確實是值得的！
我最近試驗了一些與計算機視覺有關的自動駕駛汽車概念，裏面包括車道檢測，它實際上是設計任何一款自主汽車的核心概念。
以下是我們將在本視頻中構建的車道檢測系統：https://youtu.be/sYhZbhT-Smw
很酷，對吧？在這個教程中，我會使用OpenCV庫進行車道檢測和自動駕駛汽車。當然，在本教程中，我們還將引入Python代碼。
目錄
- 車道檢測概念解釋
- 問題陳述
- 什麼是幀掩碼？
- 車道檢測的圖像預處理
- 用OpenCV在Python中實現車道檢測
車道檢測概念解釋
那麼什麼是車道檢測？以下是百度百科對車道的定義：
車道，又稱行車線、車行道，是用在供車輛行經的道路，在一般公路和高速公路都有設置，高速公路對車道使用帶有法律性質的規則，例如行車道和超車道。![使用Python+OpenCV進行實時車道檢測]()
對其進行定義是很重要的，因爲它使我們能夠繼續進行車道檢測概念。我們在建立一個系統時不能有任何含糊不清的地方。
正如我前面提到的，車道檢測是自動駕駛汽車的關鍵組成部分，這是駕駛場景理解的重要研究課題之一。一旦獲得車道位置，車輛就知道去哪裏，並避免撞上其他車道或離開道路。這樣可以防止駕駛員/車輛系統偏離車道。
以下是一些隨機道路圖像（第一行）及其檢測到的車道（第二行）：![使用Python+OpenCV進行實時車道檢測]()
問題陳述
我們希望執行的任務是實時檢測視頻中的車道。我們可以通過多種方式進行車道檢測，我們可以使用基於學習的方法，例如在帶註釋的視頻數據集上訓練深度學習模型，或者使用預訓練好的模型。
然而，也有更簡單的方法來執行車道檢測。在本文中，我將向你展示如何在不使用任何學習模型的情況下完成此任務。但是我們將使用Python中流行的OpenCV庫。
下面是我們將要處理視頻的一個幀：![使用Python+OpenCV進行實時車道檢測]()
正如我們在這張圖片中看到的，我們有四條車道被白色的車道標線隔開。所以，要檢測車道，我們就必須檢測車道兩邊的白色標記。這就引出了一個關鍵問題——我們如何檢測車道標線？
除了車道標線之外，場景中還有許多其他對象，如道路上有車輛、路側護欄、路燈等。在視頻中，每一幀都會有場景變化，這很好地反映了真實的駕駛情況。
因此，在解決車道檢測問題之前，我們必須找到一種方法來忽略駕駛場景中不需要的對象。
我們現在能做的一件事就是縮小感興趣的領域。與其使用整個幀，不如只使用幀的一部分。在下面的圖像中，除了車道的標記之外，其他所有內容都隱藏了。當車輛移動時，車道標線將或多或少地落在該區域內：![使用Python+OpenCV進行實時車道檢測]()
在下一節中，我將向你展示如何編輯視頻幀以選擇特定區域。你還將瞭解一些必要的圖像預處理操作。
什麼是幀掩碼(Frame Mask)？
在這裏，幀掩碼只是一個NumPy數組。當我們想對圖像應用掩碼時，只需將圖像中所需區域的像素值更改爲0、255或任何其他數字。下面給出了一個圖像掩蔽的例子，圖像中某個區域的像素值已設置爲0：![使用Python+OpenCV進行實時車道檢測]()
這是一種非常簡單但有效的從圖像中去除不需要的區域和對象的方法。
車道檢測的圖像預處理
我們將首先對輸入視頻中的所有幀應用掩碼，然後我們將應用圖像閾值化和霍夫線變換來檢測車道標線。
圖像閾值化
在這種方法中，灰度圖像的像素值根據閾值被指定爲表示黑白顏色的兩個值之一，因此如果一個像素的值大於一個閾值，它被賦予一個值，否則它被賦予另一個值。![使用Python+OpenCV進行實時車道檢測]()
如上所示，對蒙版圖像應用閾值後，我們只得到輸出圖像中的車道標線。現在我們可以通過霍夫線變換很容易地檢測出這些標記。
霍夫線變換
霍夫線變換是一種檢測任何可以用數學方法表示形狀的方法。
例如，它可以檢測矩形、圓、三角形或直線等形狀。我們感興趣的是檢測可以表示爲直線的車道標線。
這是相關文檔：https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html
在執行圖像閾值化後對圖像應用霍夫線變換將提供以下輸出：![使用Python+OpenCV進行實時車道檢測]()
我們需要對所有幀執行此過程，然後將生成的幀縫合到新視頻中。
用OpenCV在Python中實現車道檢測
是時候用Python實現這個車道檢測項目了！我推薦使用Google Colab，因爲構建車道檢測系統需要計算能力。
首先導入所需的庫：
import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt
**讀取視頻幀**
我已經從這個YouTube視頻中抽取了一些視頻片段。你可以從這個鏈接下載:https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view?usp=sharing。
獲取幀的文件名
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))
加載幀
col_images=[]
for i in tqdm_notebook(col_frames):
img = cv2.imread('frames/'+i)
col_images.append(img)
讓我們繪製一個幀：
指定一個索引
idx = 457
plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")
plt.show()
**幀掩碼創建**
我們感興趣的區域是一個多邊形。我們想掩蓋除了這個區域以外的一切。因此，我們首先必須指定多邊形的座標，然後使用它來準備幀掩碼：
創建0矩陣
stencil = np.zeros_like(col_images[idx][:,:,0])
指定多邊形的座標
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])
用1填充多邊形
cv2.fillConvexPoly(stencil, polygon, 1)
畫出多邊形
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()
應用該多邊形作爲掩碼
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)
plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()
**圖像預處理**
我們必須對視頻幀執行一些圖像預處理操作來檢測所需的車道。預處理操作包括：
1. 圖像閾值化
1. 霍夫線變換
**1.圖像閾值化**
應用圖像閾值化
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)
畫出圖像
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()
**2.霍夫線變換**
lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
創建原始幀的副本
dmy = col_images[idx][:,:,0].copy()
霍夫線
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
畫出幀
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()
現在我們將對每個幀應用所有這些操作。我們還將結果幀保存在新目錄中：
cnt = 0
for img in tqdm_notebook(col_images):
應用幀掩碼
masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)
應用圖像閾值化
ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)
應用霍夫線變換
lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
dmy = img.copy()
#畫出檢測到的線
try:
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
cv2.imwrite('detected/'+str(cnt)+'.png',dmy)except TypeError:
cv2.imwrite('detected/'+str(cnt)+'.png',img)
cnt+= 1
視頻準備
輸入幀的路徑
pathIn= 'detected/'
#輸出視頻路徑
pathOut = 'roads_v2.mp4'
視頻每秒的幀數
fps = 30.0
from os.path import isfile, join
獲取幀的文件名
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))
接下來，我們將把檢測到的車道上的所有幀放入一個列表中：
frame_list = []
for i in tqdm_notebook(range(len(files))):
filename=pathIn + files[i]
#讀取每一個文件
img = cv2.imread(filename)
height, width, layers = img.shape
size = (width,height)
#將幀插入圖像數組
frame_list.append(img)
最後，我們現在可以使用下面的代碼將幀合併爲視頻：
寫入視頻
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)
for i in range(len(frame_array)):
out.write(frame_array[i])
out.release()
這就完成了Python中的車道檢測系統。
**結尾**
在本教程中，我們介紹了一種簡單的車道檢測技術。我們沒有使用任何模型或複雜的圖像特徵，相反，我們的解決方案完全基於某些圖像預處理操作。
但是，在很多情況下，這個解決方案都無法工作。例如，當沒有車道標線，或者道路上的車輛太多時，該系統將失敗。在車道檢測中有更復雜的方法來克服這些問題。
原文鏈接：https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/