摘要：進入21世紀以來，人機交互技術持續發展，手勢識別是代表之一。2013年，華盛頓大學的研究人員提出了使用無線信號進行手勢識別的方法，給傳統的手勢識別技術帶來的一定的挑戰，但是這一技術並不是很成熟，暫時沒有投入商業使用。本文詳細介紹了手勢識別，並敘述了基於無線射頻的手勢識別的研究現狀。
關鍵詞：無線信號、手勢識別、人機交互
一、背景
進入二十一世紀以來，隨着世界科技持續不斷的進步以及計算機突飛猛進的發展和普及，人機交互技術（Human-Computer Interaction，簡稱HCI）在世界各國的可持續發展中變得越來越重要。人機交互指的是人與計算機這兩者之間通過使用某種指定的交互方式（如鼠標、手勢、聲音等），去完成指定任務而產生信息交換的過程[1]。人們研究HCI技術的主要目的是實現人與計算機之間的溝通和交流，使得計算機懂得人類的意圖，去幫助人們提高其生活質量，構建更加智能的社會。
近年來，伴隨虛擬現實、增強現實、可穿戴計算等技術的出現，此時的HCI技術（以計算機爲中心的、傳統的、基於鼠標和鍵盤的、單一的交互技術）越來越不能滿足人們的需求。因此，多渠道的自然用戶交互界面應運而生，顧名思義就是在原有的HCI中，加入了手勢、脣語、語音、表情、眼神、意念等人類很自然的信息進行多渠道的交互。更進一步地，我們不僅可以和計算機交互，還可以和手機、智能電視等智能設備進行交互，比如最廣爲人知的微軟公司生產的體感遊戲控制系統Kinect[2]，不但極大地豐富了人們的生活，而且拓展了HCI技術的應用領域。
手勢是一種直觀、形象、容易學習、信息量豐富和具有很強視覺衝擊的人體語言，通常利用人體發出的動作來傳達相關信息，可以稱得上是人們日常生活中的第二語言[3]。手勢語言清晰明瞭、自然友好，受到了人們、特別是相關研究人員越來越廣泛的關注。由於我們可以用手做出千變萬化的動作，而每個動作所代表的含義也是豐富多彩的，因此，研究手勢識別對於發展 HCI技術有十分重大的作用，同時對改善人類社會的生活有着巨大的意義：可用於智能家居對家居進行手勢控制，減弱對遙控器、移動終端的依賴，減少額外成本；可用於手語識別，幫助聾啞人等不方便人羣提高其生活水平;可用於汽車領域中的車聯網,如通過用不同的手勢喚醒汽車系統的不同功能，如打開娛樂系統，調出導航系統等，不用親自去按開關按鈕，方便司機的操作，減少風險，提高其工作效率；可用於機器人的遠程控制，如火災現場、抗洪搶險一線、礦下作業、化學實驗現場等危險不便直接操控的特殊場合下，我們通過手勢遠程控制機器人作業；可用於搭建家庭娛樂平臺，豐富家庭生活，比如應用於體感遊戲，增加遊戲的趣味性和可玩性；可用於教學或會議,如用手勢控制PPT的翻頁，文檔的打開與關閉，報表的展示等，方便工作[4]。
目前，手勢識別的方式主要有基於傳感器的手勢識別、基於視覺的手勢識別、基於無線射頻的手勢識別。本文重點討論基於無線射頻的手勢識別。其中比較成熟的基於無線射頻的手勢識別系統有：WiVi[5]、WiSee[6]、AllSee[7]、WiTrack[8]等。
二、研究現狀
2.1 概述
在人機交互迅猛發展的時代，手勢識別作爲其極其重要的研究領域，已經引起了世界各國的高度重視。根據手勢動作數據採集的渠道不同，我們可以將其主要分爲三個方向（Figure 1）：基於傳感器（Sensor-based）的手勢識別、基於視覺（Vision-based）的手勢識別和基於無線射頻（RF-based）的手勢識別[4]。
Figure 1 手勢識別主要技術
隨着無線技術(Wireless Technology)的提高和無線網絡的覆蓋範圍面積的擴大，基於IEEE 802.11a/g/n協議的無線路由器慢慢普及到我們的日常生活當中。我們周圍幾乎時時刻刻都存在着無線信號(如圖1-5)，如中國移動的CMCC等。WiFi信號具有低開銷，容易部署等優點。在 SIGCOMM’ 13上，Fadel Adib和Dina Katabi利用MIMO Interface Nulling和逆合成孔徑雷達(Inverse SyntheticAperture Radar，簡稱ISAR)技術去消除靜止物體的反射，捕捉運動物體的反射信號，從而識別出運動物體的軌跡[5]。隨後，華盛頓大學的Qifan Pu等人在USRP-N210實驗平臺上利用無線射頻的多普勒效應(目標靠近或遠離無線熱點都引起無線信號的改變)，提出了WiSee，實現了覆蓋整個家庭的九個手勢識別，如推、拉、踢、閃等，平均識別率高達94%[6]。2014年，哥延根大學的Stephan Sigg等人，從簡單方便的思路出發，提取了接收信號強度指示器(Received Signal Strength Indicator,RSSI)的強度來進行簡單的動作識別[9]。MIT的研究人員開發的Witrack採用調頻連續波(Frequency Modulated Continuous Wave，簡稱FMCW)技術去計算從發射端出發，經過目標物體再反射回到接收端的時間(Time of Flight, TOF)去追蹤目標[8]。他們最近的研究結果Wiz可以檢測多個用戶的動作和識別三維的手勢指向[10]。 WiTrack和Wiz都可以植入消費電子產品當中，用於判斷用戶進出門，從而自動開關燈;識別手勢指向，自動打開空調等設備。而Bryce Kellogg等人從功耗角度出發，製作了特殊的低開銷的硬件AllSee，從電視信號和RFID信號中提取出手勢的相關信息，從而識別出八個手勢[7]。Pedro等人在運行 IEEE 802.11 a/g/n協議的WARP(Wireless Open-Access Research Platform)平臺上實現了細粒度的手勢識別[11]。
2.2 WiTrack
WiTrac是一種三維運動追蹤與檢測裝置。它的工作過程是發射無線信號並接受從人體反射回來的無線信號，通過相應算法，得出人體各部分的距離信息，完成三維追蹤。它不要求用戶攜帶任何無線收發設備，而且它可以在有牆或者其他WiFi信號干擾的環境下使用。WiTrack設備的功耗很低，它所發送的無線信號的功率比普通WiFi信號小100倍，比手機信號小1000倍。
WiTrack技術利用人體對於無線電信號的反射來實現對人體的定位和運動追蹤。試驗設備是一個T型的支架，中間點放置一個receiver，三個頂點放置三個transmitters，這樣的設置使得設備可以立體地監測人體運動。
Witrack的優點在於可以進行釐米級地運動追蹤，它可以把人體的中心定位在一個x，y軸上10-13釐米，z軸上21釐米的三維空間中，還可以對被測人體的手的指向進行粗追蹤，這一功能具有96.9%的精度。WiTrack技術可以融入到電子消費產品中，適用於一系列的應用中:
應用於遊戲：用戶在配備有WiTrack的遊戲設備情況下，再也不用像以前一樣坐在電視電腦前玩遊戲。用戶可以在家中自由地走動，設備可以自動追蹤用戶的動作，比如用戶可以通過躲在沙發或者牆的後面來控制遊戲中人物躲避敵人。
應用老年人照護：衆所周知，跌倒是造成65歲以上老年人致命或非致命性傷害的首要元兇。當前的兩種跌倒檢測方法，一種需要老年人佩戴可穿戴式傳感器，這使得老年人生活不便，一種需要使用攝像頭來檢測老年人跌倒，這會侵犯到老年人的隱私。WiTrack則可以通過從人體反射回的無線信號強度的變化來檢測老年人是否跌倒，其準確率可達96%。
應用於智能家居：WiTrack可以通過檢測用戶手指的方向來控制用戶手指方向的傢俱的開關，如燈的開關。用戶只需要在開燈前，用手指一下要開的燈即可。
2.3 WiSee
研究人員證實，通過使用客廳裏的一個經改裝的WiFi路由器和幾個無線設備，用戶僅用一個簡單的手勢就可在家裏的任何房間操控自己的電子產品和家用電器該項目首席研究員、華盛頓大學計算機科學與工程助理教授西亞姆·高勒科塔將之稱爲對既有無線信號進行再利用的新方式。利用無線信號進行手勢識別，免去了部署更多傳感器的需要。
華盛頓大學研究團隊將此項技術命名爲“WiSee”，它可以聰明地測出WiFi信號下人們動作所產生的多普勒頻移。就目前9個手勢的平均識別率爲94%，標準偏差爲4.6%。研究報告已提交給第19屆國際移動計算和網絡大會。“WiSee”在概念上與微軟Xbox Kinect類似，但技術更簡單，價格也更便宜，並且用戶不必在同一房間控制其設備，因爲WiFi信號可穿越牆壁，不受視線或聲音障礙的約束。
研究團隊將一臺標準WiFi路由器改裝成“智能”接收設備，其基本上能偵聽房間中智能手機、筆記本電腦、平板電腦等所有電子設備發出的無線信號。
一個人在移動時，會造成無線信號頻率的輕微變動。手或腳的移動會導致接收設備檢測到多普勒頻移變化。與WiFi信號動輒20兆的帶寬及5吉赫的運行頻率相比，這些頻變是非常小的，通常只有幾個赫茲。研究人員開發了一種算法來檢測這些細微的變化。
該技術目前可識別推、拉、刺、投等9種不同的手勢。WiSee在一個兩居室內測試證明，它還可以將系統放到人所在的另外的房間。除了在範圍上有優勢外，一個配備多天線及支持MIMO的WiFi基站可以支持多人識別，這樣可讓多達5人在同一住所同時操作手勢而不混淆。當一個人移動，會稍微改變無線信號的頻率。移動一隻手或一隻腳，會導致接收器探測到被稱爲多普勒頻移的模式變化。研究者開發出一套算法用以偵測頻移。它能辨識九種不同的全身姿勢，從推、拉、揮拳到全身扭動。在執行的總共900個手勢中，WiSee的辨識準確度達到94%。
如果用戶想使用WiSee，必須執行一個特定的重複手勢順序來獲得接收機的訪問權。此種密碼概念將保持系統的安全和防止鄰居或黑客控制用戶家中的設備。無線接收器與用戶鎖定後，用戶纔可與家中的電子設備進行正常的手勢互動。接收機則要進行編程以理解對應每個電子設備的特定手勢。
不過，這個技術的操作過程是否簡便，使用者是否需要熟記手勢來進行操作這些都是需要考慮的問題。如果該技術可以趨向成熟，它在智能家居上將起到非常大的作用，而且這還是在WiFi本身已經有所普及的情況下。要想真正做到實用，還需要商榷怎樣使這項技術做到簡單、方便。
2.3 WiG
WiG是深圳大學的何文鋒同學在他的碩士學位論文中提到的由作者搭建的基於WiFi的手勢識別實驗系統。它是一個基於現有的 WiFi 設備和商用的無線網卡，利用無線信號物理層的信道狀態信息 CSI 來進行的 device-free（不需攜帶額外設備）的手勢識別系統，包含硬件模塊和軟件模塊。
在硬件模塊中，發射端是一個普通的商用路由器，稱爲AP (Access Point)。接收端是一個裝有商用無線網卡(如Intel 5300無線網卡)的臺式電腦，稱爲DP(Detect Point) 。AP和DP通過無線網卡連接上，然後AP在持續不斷地發送無線信號，與此同時，實驗人員在AP與DP之間做手勢動作。
在軟件模塊中,包含CSI數據採集、CSI數據預處理、CSI數據去噪、CSI數據異常檢測、特徵提取和分類器分類這六部分。
WiG系統分爲三個流程: CSI數據採集、CSI 數據預處理和去噪、CSI 數據異常檢測、特徵提取和分類。
WiSee[6], Al1See[9], WiTrack[8]等都是基於軟件無線電平臺USRP或專用的硬件上實現的。雖說Pedro等人不是使用軟件無線電平臺，而是WARP平臺，但是WARP和USRP一樣，使用昂貴的振盪器，成本很高。一套WARP實驗平臺就需要十幾萬人民幣，不利於大規模部署。
而WiG系統使用的是現有的無線設施以及商用的無線網卡，因此WiG系統爲更普遍的基於無線信號的手勢識別提供了一種可行的方案，但是其實際的效果有待進一步考證。
三、總結和展望
3.1 總結
手勢識別是HCI技術研究中非常關鍵的一個部分。基於無線射頻的系統，如WiVi, WiSee, Al1See等都是基於軟件無線電平臺USRP或專用的硬件上實現的，成本很高，不利於推廣普及。WiG系統使用了現有的無線設施以及商用的無線網卡，但是其實際效果有待進一步考證。
基於無線射頻的手勢識別有其本身的有點，比如：低開銷、容易大規模部署、可以在黑暗中使用、可以穿牆等等；但是它也有其本身的侷限性，如手勢的準確定義以及何文鋒的論文中提到的“不能進行身份識別”等。
3.2 展望
針對何文鋒的論文中提到無線射頻技術“不能進行身份識別”，筆者認爲，姿勢識別可以結合WiFi定位[12]、姿勢識別、步態分析等技術：先進行姿勢識別和WiFi定位，將識別後的姿勢以及位置信息傳給步態分析系統，一定時間內可以達到身份識別的目的，之後繼續利用WiFi定位進行人物跟蹤。這一方法對WiFi定位技術和姿勢識別的精確度較高，目前可能很難達到，在此只是提出可能的猜想。
隨着對手勢識別的深入，基於無線射頻的手勢識別相關算法的精確度必將進一步提升，使得其對相關設備的要求降低，甚至使用普遍的WiFi設施以及商業化的無線網卡既可達到使用標準，最終實現這一技術的普及。
參考文獻
[1]王雁.交互信息設計研究[D].湖南:中南大學.2011.
[2]Microsoft.Kinect[EB/OL].[2014-12-12].http://www.microsoft.com/en-us/kinectfowindows.
[3]百度百科.手勢DEB/OLD. X2014-12-25].http://baike.baidu.com/view/179746.htm
[4]何文鋒。基於WIFI的手勢識別研究[D].深圳：深圳大學.2015
[5] Adib F, Katabi D. Seeing Through Walls Using WiFi [C]. Proceedings of the ACM SIGCOMM 2013 conference. Hong Kong: ACM, 2013.
[6] Pu Q, Gupta S, Gollakota S, et al. Whole-home gesture recognition using wireless signals[C]Proceedings of the 19th annual international conference on Mobile computing & networking.ACM, 2013: 27-38.
[7] Kellogg B, Talla V, Gollakota S. Bringing gesture recognition to all devices[C] Proceedings of the 11th USENIX Symposium on Networked Systems Design & Implementation. Seattle, Wa: ACM, 2014, 14
[8] Adib F, Kabelac Z, Katabi D, et al. 3d tracking via body radio reflections[C] Proceedings of the 11th USENIX Symposium on Networked Systems Design &Implementation. Seattle, Wa: ACM,2014, 14
[9] Sigg S, Blanke U, Troster G. The telepathic phone: Frictionless activity recognition from WiFi-rssi[C]Proceedings of the IEEE international conference on Pervasive Computing and Communications. Budapest: IEEE, 2014: 148-155.
[10] Adib F, Kabelac Z, Katabi D. Multi-Person Motion Tracking via RF Body Reflections [J]. 2014.
[11] Melgarejo P, Zhang X, Ramanathan P, et al. Leveraging directional antenna capabilities for fine-grained gesture recognition}C}//Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Seattle, Wa: ACM, 2014: 541-551.
[12]劉春燕. 基於 WIFI與慣性技術的行人室內定位算法研究 [D].北京:中國地質大學.2015
