車牌識別資料整理

原文地址：https://www.zhihu.com/question/355669768/answer/893855833
如果是做國內的車牌識別，github上有一個CCPD。這是中科大開源的一個數據集，標註比較詳細不過不是按字符分割的方式做的標註（這個數據集的目標是做端到端訓練，因爲識別模型我考慮的就是做端到端的，所以這不是問題），優點是數據集規模很大，缺點是隻有藍牌並且主要是當地的牌照（皖A）。detectRecog/CCPD​github.com因爲這個數據集存在車牌種類過少地區過於集中的問題，所以我做了一個工具生成車牌圖像用於訓練，目前可以生成藍牌、單排黃牌（大型車前車牌、教練車車牌）、兩種綠牌、黑牌（港澳入境車牌）。ufownl/fake_chs_lp​github.com二、接下來是模型實現我用的方法是分兩步實現，首先從輸入圖片中抓出車牌圖像（這裏面涉及目標檢測和車牌圖像矯正），然後將輸出的車牌圖像丟入OCR模型中做識別（github上大多是通過分割字符的方法，我考慮的使用端到端的方式實現）。先說第一步如何抓出車牌圖像，我是用的下面這篇論文提出的方法。可能因爲原論文使用的數據集規模比較小，他們的模型規模比較小。因爲CCPD的規模遠大於論文中用到的數據集，所以我直接把主幹網絡替換成了ResNet18。License Plate Detection and Recognition in Unconstrained Scenarios​sergiomsilva.com然後是OCR模塊，跟大多數車牌識別方法使用分割字符再識別不同，我考慮的是使用CNN+序列模型的方式做img2seq模型，最終用的方案是ResNet18+Transformer。模型是霸佔了公司一臺970和一臺1060的機器來跑的，初步測試下來準確率還行，就是模型規模比較大CPU上的速度比較慢。然後又嘗試了削減卷積層中filter的數量，犧牲了一些低質量圖像的準確率，不過運算速度大大加快了。下面是做的一個在線DEMO，加入了一個預訓練的YOLOv3模型來做車輛檢測，可上傳帶車輛的場景圖片進行測試。