人臉識別技術在智慧城城市建設中的深度應用

人臉識別技術在智慧城城市建設中的深度應用

 本文由本人發表於《中國安防》第144期-2017年10月刊智慧城市欄目

佳都新太科技股份有限公司

徐建明

1.   人臉識別技術在智慧城市應用中的現狀

智慧城市建設如火如荼，各類智慧城市應用的使用也逐漸發展到千家萬戶，滲透到了老百姓的衣食住行中。每一個市民都接觸並使用到了多種與身份認證、鑑權服務有關的城市服務，從電子政務辦理各類事項，到個人使用支付寶掃一掃消費，身份識別技術越來越普及，從原來的開個證明各個委辦局跑斷腿，到足不出戶網上辦事大廳處理各種委辦局的政務服務；從開具各種公章證明進行身份識別，帶齊戶口本身份證結婚證駕駛證等一包證件，到現在可以讓辦事後臺系統的數據多跑路，老百姓少跑腿，一門式一網式的新型互聯網+政務服務模式的實踐推廣。我們見證了多種身份識別技術的發展，而人臉識別技術從中脫穎而出，作爲一種直接，有效的輔助手段使得智慧城市應用形式和城市感知大數據越來越豐富，提供的服務越來越精準。

以人爲本，人臉即服務！

如今，在人與人相連的時代，圍繞人提供的服務首先要解決的是辨識人的身份，爲此人們發明了很多卡、證作爲識別人身份的依據，這種身份識別本質上是“見物如見人，認物不認人”，它忽視了人們最本質的需要，解決老問題的同時，也帶來一些新的問題。順應時代的潮流，充分利用人臉識別技術，強調人臉大數據共享和開放，建設人像庫、人臉卡口系統。人臉識別技術可廣泛應用於智慧警務和智慧城市建設，爲全社會提供智慧人臉服務。

人臉識別是基於人的臉部特徵信息進行身份識別的一種生物識別技術。針對輸入的人臉圖像或者視頻流，首先判斷其是否存在人臉,如果存在人臉，則進一步的給出每個臉的位置、大小和各個主要面部器官的位置信息。然後依據這些信息，進一步提取每個人臉中所蘊涵的身份特徵數據，並將其與已知的人臉進行對比，從而識別每個人臉的身份。人臉識別主要用於身份識別。由於視頻監控正在快速普及，衆多的視頻監控應用迫切需要一種遠距離、用戶非配合狀態下的快速身份識別技術，以求遠距離快速確認人員身份，實現智能預警，而人臉識別技術無疑是最佳的選擇。

人臉識別系統，可以廣泛應用於公安、金融、機場、地鐵、邊防口岸等多個對人員身份進行自然比對識別的重要領域。

應用場景：身份證查驗，確保真實證件

當前主要是通過掃描或者複印身份證信息，人工比對身份證照片。掃描或複印身份證只是作爲備案，並不能有效覈實身份證真僞。要確保是採用真實身份證辦理業務，必須有某種技術手段對辦事人提供的身份證進行查驗。

應用場景：人臉與身份證匹配查驗，確保人證合一

除了採用真實身份證辦理業務外，人工覈對相片往往因爲身份證相片相對早期、當事人帶墨鏡、化妝、髮型等根本無法有效覈實。如果查問過多會讓持證人員感到厭煩，容易產生一些不必要的摩擦。故在查驗身份證的基礎上，通過攝像機無接觸自動捕獲人臉影像，並自動與身份證裏存儲的影像信息比對，或者與後臺更多的真實身份人臉比對，並以多種方式提醒窗口業務人員比對結果，確保持證人是本人持真實身份證件辦理業務。

應用場景：人臉證據保留，增強事後取證能力

由於身份證信息中的照片相對陳舊，除了將攝像機捕獲的當時人臉與身份證存儲的相片比對外，系統不斷積累辦理業務時的人臉捕獲數據，在人臉匹配查驗過程中，不僅能跟身份證中存儲的照片信息比對，還能對歷史人臉信息比對，確保在身份證中的照片相對陳舊時，有更加接近當前時間的人臉數據，提高比對精確度。同時每次辦理業務留下的人臉數據，可作爲出現業務異常時追溯的重要證據。

應用場景：支持未來刷臉辦理業務

隨着人臉識別技術的不斷成熟，對於公共服務部門來講，對客戶的貼身服務至關重要，系統要支持未來直接刷臉辦理業務。即對於部分業務，要支持未來在無需身份證信息的情況下，依然可以直接通過人臉識別身份信息，減少身份證查驗、複印存檔等環節，提高客戶辦理業務的便捷性，提高窗口辦理業務的效率。

2.   人臉識別技術在智慧城市中的應用優勢

人臉識別是基於人的臉部特徵信息進行身份識別的一種生物識別技術。每個人的面孔都由額頭、眉毛、眼睛、鼻子、嘴巴、雙頰等部位組合而成，它們之間的大體位置關係也是固定的。然而，人臉具有唯一性，這個世界上找不出兩張完全相同的人臉，人們通常能夠根據不同面孔之間的細微差異將不同人區分開來。

人臉具有相似性和易變性，不同環境、光線、角度、年齡，均會對人臉的成像產生變化，因此，人臉識別是生物識別領域最困難的研究領域之一。

人臉識別技術具有非強制性、非接觸性、併發性等幾大優勢。

l  非強制性：系統在用戶在無意識的狀態下就可獲取人臉圖像，不需要專門配合；

l  非接觸性：用戶不需要和設備直接接觸，就能獲取人臉圖像，提取人臉特徵進行檢測；

l  併發性：在實際應用場景下可以進行同時多個人臉的分揀、判斷及識別；

除此之外，還有操作簡單、結果直觀、隱蔽性好等特點。

從古至今，人臉是進行身份辨識的重要方式。在古代，政府爲了達到對特定人員的身份識別、防控圍捕的目的，會發布“海捕文書”。海捕文書中包括了人員的畫像、涉案信息等，通過懸賞及威懾測試調動人民羣衆積極性，實現對人員的發現、舉報、抓捕；在現代，在身份證、駕駛證、護照等重要的個人證件上，均會印刷或粘貼人臉照片，或者證件內置芯片中植入人像照片。除此以外，在公安、金融、公證、互聯網支付等越來越多行業，人臉已經作爲身份鑑別或業務授權的重要依據之一。在人臉識別技術應用之前，已經誕生了很多對人員身份進行識別技術手段，可分爲生物識別和非生物識別兩大類，但在長期的應用過程中，其不足之處逐漸暴露出來：遺失、竊取、盜用、損壞、不衛生、磨損、影響通行、用戶反感、逃避等。人臉識別的出現及應用並不能取代其他的技術，作爲一種新的可應用的身份識別技術，與其它的身份識別技術手段相互補充，揚長避短。而人臉識別在應用上，具有先天性的隱蔽、方便、直觀等優勢，使得人臉識別在某些特定的場所、行業，有巨大的應用優勢。

人臉識別是應用爲導向的，換句話說，就是客戶的需求。人臉識別做的好不好，關鍵是看，通過這個技術有沒有解決各行各業實際的問題。

靜態與動態人臉識別

l  靜態人臉識別是指被識別的人，處於靜止狀態或配合狀態下，採集其人臉圖像，進行人臉識別。

l  動態人臉識別是指被識別的人，處於移動狀態或步行等非配合情況下，採集其人臉圖像，進行人臉識別。

靜態人臉識別由於需要當事人配合、且採集人臉交互需要1-2秒時間，採集的人臉圖像質量高，一般應用於當事人對時間不敏感或對採集人臉並不十分反感的場景。例如：金融開戶、人臉門禁、身份識別、網吧身份證覈查、訪客登記、實名制驗證等場合。

動態人臉識別不需要當事人的配合，因此，一般應用於對當事人行爲無干擾或當事人不感知的場景，例如：車站、機場、碼頭的案犯抓逃，VIP識別，重點人臉管控等。

1:1和1:N人臉識別

l  1:1人臉識別：將A、B兩張圖像相互比較，通過人臉識別技術判斷兩張人臉圖像是不是同一個人，或者兩張圖片的相似度是多少。

l  1:N人臉識別：通過人臉識別，將A人臉圖片和由N張人臉圖像組成的人臉庫中進行比較，得到A是否在人臉庫中，或者A和人臉庫中那張人臉最像。

綜上可知，1:1人臉識別在人證一致性覈查、網上支付身份覈查等領域應用最爲廣泛，對打擊盜用、冒用證件、身份有非常好的針對性。1：N人臉識別在身份識別主要用於人臉身份查詢。例如：布控抓逃、人臉查詢、戶口查重等均屬於此類。

可見光和主動近紅外人臉識別

l  可見光人臉識別：在可見光環境下（太陽光、日光燈等照明光源），採集的人臉圖像，進行人臉識別，適合在光線好的條件下應用。

l  主動近紅外人臉識別：在主動紅外光源環境下（太陽光、日光燈等照明光源），採集的人臉圖像，進行人臉識別。採用主動紅外光源是爲減弱環境光對人臉成像造成不利的影響（逆光、側光、強光、弱光），紅外主動光源位於不可見波段，不會刺激人的眼睛，而中/遠紅外波段成像會損失物體表面大多數信息，所以近紅外是最好的選擇。

由於近紅外無法在中、遠距離採集人臉圖像，並且要求底庫的人臉圖像也是近紅外模式下采集的照片，因此其存在比較大的應用侷限性，目前主要用於人臉考勤、門禁。在現階段的實際應用中，可見光的人臉識別的應用更加廣泛。

3.   人臉識別技術在智慧城市應用案例解析

人臉識別技術在智慧城市應用中已經部署並推廣了多種產品形態和解決方案植入。人是社會的主體，所有服務的本質都回歸到對人的服務，人臉識別要解決的也是各行各業滿足人的需求、規避人的風險、解決人的問題。技術逐漸成熟，尤其是深度學習技術帶來的技術突破，使得人臉識別技術達到可應用的下限水平，人臉識別相關產品和系統非常多。雖然人臉產品種類繁多，不管業務應用多麼繁雜，但萬變不離其宗，客戶通過人臉識別技術手段達到驗證人的身份或識別人的身份的目的始終不變。

比如人臉實時報警系統。應用人臉檢測和識別技術，在人員進出重點區域設置人臉卡口攝像機，針對經過卡口人員進行人臉抓拍、識別和自動報警，並可將報警信息推送到警務終端APP，實現實戰預案聯動。人臉卡口系統可獨立部署，也可作爲子系統對接到第三方管理平臺，可廣泛應用於公安、交通、金融、司法、教育、醫院等領域。功能方面：

l  人臉採集：可接入網絡高清攝像機，可對攝像機實時視頻畫面內出現的人臉抓拍1張或多張清晰人臉圖片並可截取抓拍的人臉對應的背景照片。

l  人臉儲存：可將抓拍的人臉圖片長期保存，由於人臉圖片所佔空間相對視頻文件要小得多，在有限的存儲空間下，人臉圖片可存儲的時間比視頻長得多。

l  人臉布控：支持對卡口過往人員的人臉布控。將布控的人臉圖片及信息，下發到指定的人臉卡口進行布控，一旦攝像機內出現與布控庫內高度相似的人臉，系統能夠實時辨識出來，並將人臉圖片及識別結果上傳中心。

l  移動APP：人臉布控報警可推送到移動終端設備。

比如人臉採集檢索系統。應用人臉檢測和識別技術，在人員進出重點區域設置人臉卡口攝像機，針對經過卡口人員進行人臉抓拍、建模以及事後的人臉查詢檢索技戰法等應用，可實現人臉刑偵、技偵的深度應用。人臉採集檢索系統可獨立部署，也可作爲子系統對接到第三方管理平臺，可廣泛應用於公安、交通、金融、司法、教育、醫院等領域。功能方面：

l  人臉採集：可接入網絡高清攝像機，可對攝像機實時視頻畫面內出現的人臉抓拍1張或多張清晰人臉圖片並可截取抓拍的人臉對應的背景照片。

l  人臉儲存：可將抓拍的人臉圖片長期保存，由於人臉圖片所佔空間相對視頻文件要小得多，在有限的存儲空間下，人臉圖片可存儲的時間比視頻長得多。

l  人臉技戰法：系統提供人多種人臉查詢與檢索的技戰法應用，例如：人員出現頻次、同行人分析、同伴分析等。

l  特徵人臉技戰法:針對特徵人臉或異常人臉，例如：戴眼鏡、戴帽子等，提供可根據人臉的特徵或異常的特徵，實現特定特徵的人臉查詢檢索。

比如人像庫共享服務平臺。人像庫共享服務平臺是一套專門針對公安等行業人口管理、案件偵查的人像檢索系統，系統並具有強大的數據導入、批量建模、查詢檢索、統計分析等功能。爲公安出入境、戶政、刑偵等部門提供快速定位人員、提高刑偵、視偵的效率，同時可對接公安情報、警綜等系統，爲公安追逃、偵查、尋人等應用發揮作用。人像庫共享服務平臺可獨立部署，也可與第三方系統對接，提供人像識別共享服務。功能方面：

l  人員信息庫數據對接：系統有專門的數據接口，用於與公安的居民信息庫、重點人員信息庫進行人員信息數據對接，在保障公安數據的安全性的同時，能夠快速抽取人臉數據。

l  人臉特徵提取：人臉特徵值是決定人臉識別精準度的關鍵因素，也是影響人臉檢索速度的因素。系統基於深度學習神經網絡算法，進行人臉特徵提取，並將人臉的結構化特徵數據儲存袋人臉特徵庫，進行人臉檢索。

l  人臉比對檢索：系統可提供1:1人臉比對、1：N人臉檢索功能。支持多條檢索任務併發處理，當任務數量超過上限時，系統進行排隊處理。

l  人像查重：實現單一人像檢索或批量人像檢索。

4.  人臉識別技術在智慧城市中的應用疑難

人臉識別技術在智慧城市中的應用疑難主要體現在業務場景與技術實現兩個方面，技術實現方面主要的難點包括：超大規模人臉異步集羣識別檢索的難點，人臉識別最小支持到18.5亞像素級的難點，人臉識別技術與環境及樣本量的衝突難點。

我們先看看第一點：超大規模人臉異步集羣識別檢索的難點。

人臉識別應用的困擾之一是，大容量的人臉庫的人員檢索查詢的時效性難以保障，目前，在安防行業，一般大容量人臉庫的規模能達到100萬數量級，檢索速度勉強滿足要求，但對於千萬級甚至更大規模的人臉數據，在數據庫表檢索和硬件的性能均達到極限情況下，仍舊難以支撐業務要求。爲解決該問題，系統分別在海量運算和海量存儲上做異步分步式的處理架構，對前端提前的任務系統在優化數據庫表檢索速度的同時，採用異步集羣的架構，利用開源的分佈式系統基礎架構Hadoop在普通PC機上搭建起基礎雲平臺，使得系統的基礎建設成本降低，同時Hadoop基礎雲平臺能方便快捷的水平擴充系統性能，而不會引起大幅的成本增加。人臉基礎信息數據庫則採用分佈式的HBase，同時HBase還能存儲人臉數據庫處理的中間結果。搜索引擎技術方便則採用Lucene的分佈式實現Katta，Katta基於Hadoop框架實現，索引的建立和搜索的打分排序都能在Mapreduce運算模型上進行，大大提高了運行的速度，這爲超大規模數據的業務應用提供了技術支撐和保障。基於以上技術，在已測試的案例中，系統在6052路攝像機接入時，每路視頻每秒可處理5幀數據，針對1000萬的人臉庫，檢索響應時間小於1秒。如下圖所示：

第二個技術難點是：人臉識別最小支持到18.5亞像素級。

傳統的人臉識別算法對人臉像素的要求很高，很多號稱小像素級的算法在小像素時效果很差，只有到60像素以上時，纔有了較好的效果，本系統的核心算通過不斷的攻堅技術難點，創新的提出一種基於雙層異構的改進深度神經網絡，實現了雙層網絡間的信息反饋與數據評介採樣，不僅提高了網絡的穩定程度，而且在訓練中可加入半監督的處理流程，通過人工構建一層網絡來不斷監測和微調學習網絡，解決傳統基於卷積神經網絡的深度學習，網絡構建很難人工干預的問題，從而從根本上解決了人臉識別準確率與誤識率的問題。同時，爲了解決小像素信息量嚴重缺失的問題，系統對建立起了對人臉周邊區域信息的評介體系，通過建立精細像素信息網絡，對人臉信息進行亞像素級的精細化處理，從而解決了小人臉識別的一大難題。如下圖是人臉識別ROC比對曲線對比。

第三個技術難點是人臉識別技術與環境及樣本量的衝突難點。人臉識別技術目前依然受限於人臉庫的樣本量影響識別精度，同時受限於單一算法，仍然無法在黑夜，環境光低下，雙胞胎，戴帽子墨鏡等影響。雖然目前阿泰克等日本供應商已經通過近紅外+3D人臉識別解決了部分問題，但由於實現原理制約，只能在樣本庫小的，事先註冊好人臉3D建模的場景下使用，比如大樓門禁，海關通關閘機，充分利用靜態人證比對和動態3D掃描+近紅外實現。對於智慧城市的廣大區域，比如車站，碼頭等人流量聚集的場所，以及商場、社區等近民場景難以湊效

人臉識別技術在業務場景下面對的挑戰也比較多，仍需不斷髮展探索。比如：人臉識別面對綁架型解鎖就是一個難題，利用合規的人臉來進行相應的犯罪反偵察，深度學習的樣本量中對與人臉的變化比較是難以湊效的，這對於安防行業中面對的新需求比如反恐維穩場景中的人臉更新週期長、難以識別長鬚前與長鬚後。比如智慧數據比對中的碰撞方式難以將人臉識別與其他有嫌疑的數據採集源端的二義性帶來的精準度下降。比如許多少數民族地區由於歷史沿革原因，出生有一個姓名，叫做阿凡提買買提，啓蒙按照宗教原因進入寺廟啓蒙，叫做阿凡提里約買買提，類似一個法名，入校後的會有一個學名阿凡提六法買買提，滿足18歲辦理身份證的時候一般按照學名或出生名，結婚後會有從夫名。這些姓名對應的不同時期的人臉照片差別迥異，成年男子因爲宗教原因不得剃鬍須，甚至不更新身份證，不辦理戶口，遊離在法治邊緣。這樣的業務場景下，我們的深度學習，人工智能讀到的可信數據源（教育准考證，公安身份證，戶口本）等可能會是一個人，多個合法姓名，多個人臉樣本。但各類系統的數據取值不一致，導致二義性。造成人證臉關聯識別失敗。

 

5.  人臉識別技術在智慧城市中的應用前景與趨勢

       人臉識別技術將與其他各種生物識別技術一起產生混合場景下的各種混搭應用，利用人臉識別與聲紋識別，RFID技術等都會碰撞出奇妙的火花。人臉識別的算法也將由單一算法向混合算法聚簇、與大數據、雲計算、深度學習、人工智能、基因標識一起融合發展形成新的應用前景。

算法是人臉識別技術的核心，計算機通過人臉識別算法，可將一張張人臉的圖片轉換成可量化的人臉特徵數據，從而量化人臉特徵數據的差異性，得到相似度數值。

深度學習是目前最炙手可熱的人工智能算法，國內外研究機構和企業（Google、Microsoft、中科院等）投入大量研究資源，其成果廣泛應用於計算機視覺、語音識別、智能分析等領域。深度學習不是一項新技術，其前生神經網絡技術已經有40多年的發展歷史。學術界和工業界，越來越多研究深度學習理論，使得深度學習的模型得到加強和優化。數據太大，模型不夠複雜，覆蓋不了所有數據。深度學習非常依賴訓練樣本的數量，隨着互聯網、大數據的發展，更多的人臉樣本數據加入訓練模型中，使得算法模型針對人臉更加通用，更接近於真實的世界。深度學習的“深度”便指的是模型的層數以及每一層的節點數量，越是低層，特徵越簡單，越是高層，特徵越抽象，越接近要表達的意圖。對於圖片來說，最低層次的特徵是像素（0-255的矩陣），這個特徵對於我們來說沒有價值，但從像素中可以找到邊緣特徵、再找到部位特徵，最後形成不同的目標物。傳統的智能算法爲了進行某種模式的識別，通常的做法首先是以某種方式，提取這個模式中的特徵。這個特徵的提取方式有時候是人工設計或指定的，有時候是在給定相對較多數據的前提下，由計算機自己總結出來的。深度學習提出了一種讓計算機自動學習出模式特徵的方法，並將特徵學習融入到了建立模型的過程中，從而減少了人爲設計特徵造成的不完備。而目前以深度學習爲核心的機器學習算法，在滿足特定條件的應用場景下，已經達到了超越現有算法的識別或分類性能。也就是說，深度學習算法得到的人臉特徵，已經遠遠超出了我們人類所能理解的形狀、角度、比例、膚色等特徵，其絕大部分特徵是算法自己通過學習得到，並能夠被計算機所理解。深度學習雖然能夠自動的學習模式的特徵，並可以達到很好的識別精度，但這種算法工作的前提是，使用者能夠提供“相當大”量級的數據。也就是說，如果提供有限數據量的應用場景下，深度學習算法便不能夠對數據的規律進行無偏差的估計，因此在識別效果上可能不如一些已有的簡單算法。另外，由於深度學習中，圖模型的複雜化導致了這個算法的時間複雜度急劇提升，爲了保證算法的實時性，需要更高的並行編程技巧以及更好更多的硬件支持。

6、結語

       作者在編寫本文的時候，恰逢Apple公司發佈了iPhone X 的劃時代產品，也被Apple公司標榜爲十年來最科技的iPhone產品，而這款產品在我這個人臉識別應用的業內人士看來，其高科技感無不來自於iPhone X的人臉識別新技術，從這個引領潮流趨勢，吸引全世界眼球的產品演示中可以看到人臉識別將從高大山的智慧城市行業應用開始逐步向每一個人的手機中滲透，我們有視頻雲，大數據管，人臉識別攝像機端，而今，在“雲管端”的覆蓋下，手機中集成人臉識別，特徵識別，指紋識別，聲紋識別，虹膜識別等身份識別技術已經在iPhone X上實現，由此帶動的金融支付、刷臉購物，人臉識別+證明池服務，人臉識別+安全生產雙主體，人臉識別+智慧出行等等應用將會通過一個個攝像頭讓我們的生活更智能更便捷，我們的社會更安全。人臉識別就在我們身邊，擡頭看看杆塔安防的攝像頭、低頭看看手機上的人臉識別應用，智慧應用都已經用到了你的微信，支付寶上了，你期待的智慧城市新生活還會遠嗎？