論文閱讀：Deep Learning in Mobile and Wireless Networking:A Survey
從背景介紹到未來挑戰，一文綜述移動和無線網絡深度學習研究
近來移動通信和 5G 網絡等快速發展，它們的調控與配置因爲充滿了多樣性和動態變化而面臨非常多的挑戰。因此近來很多研究科學家開始利用機器學習及深度學習加強移動無線網絡的配置，以此應對數據量和算法驅動的應用程序的增長。本論文基本是首篇綜述深度學習及無線網絡交叉學科研究面貌的調研，通過閱讀原論文該能夠新興交叉學科有了一個相對全面的瞭解。
摘要：移動設備的迅速普及以及移動應用和服務的普及對移動和無線網絡基礎設施提出了前所未有的要求。 即將推出的5G系統正在不斷髮展以支持爆炸式移動通信量與敏捷的網絡資源調配管理，以最大化用戶體驗以及提取細粒度的實時分析。 隨着移動環境日益複雜，異構和不斷髮展，實現這些任務是具有挑戰性的。 一個可能的解決方案是藉助先進的機器學習技術來管理數據量和算法驅動型應用的增長。 深度學習最近的成功爲這個領域問題的解決帶來了新型強大工具。
本文通過對深度學習與移動、無線網絡研究的交叉領域開展綜合性研究，填補了二者之間的鴻溝。首先，本文簡要介紹了深度學習技術的基本背景和最新進展，以及在網絡方面的潛在應用。然後討論了幾種有助於在移動系統上高效部署深度學習的技術和平臺。隨後，本文對基於深度學習的移動和無線網絡研究進行了百科全書式的回顧（encyclopedic review），並按不同領域進行了分類。此外，本文還基於自己的經驗討論瞭如何根據移動環境定製深度學習。最後明確了當前的挑戰和未來的研究方向。
關鍵詞：深度學習，機器學習，移動網絡，無線網絡，移動大數據，5G系統，網絡管理
1 introduction
互聯網連接的移動設備正在滲透生活、工作和娛樂的各個方面。智能手機數量不斷增加以及不斷增多的應用程序引發了移動數據流量的激增。事實上，最新行業預測顯示，到 2021 年，全球 IP 年流量將達到 3.3 澤字節( 兆字節)—zettabytes (1015 MB) ，同年，智能手機流量將超過 PC 流量 [1]。由於用戶偏好轉向無線連接，當前移動基礎設施面臨着巨大的容量需求。針對這一日益增長的需求，有人建議採用靈活的資源供給方式 [ 2 ]，分佈式解決移動管理問題 [ 3 ]。然而，長遠來看，互聯網服務提供商 ( ISP ) 必須開發智能異構架構和工具，以催生第五代移動系統 ( 5G )，並逐步滿足終端用戶的迫切需求 [4], [5]。
移動網絡架構日益多樣化且複雜性不斷提高，監控和管理衆多網絡元素的問題因而變得棘手。因此，廣大研究人員對多功能機器智能嵌入未來移動網絡這一課題的興趣空前高漲 [6]，[7]。這種趨勢反映在機器學習（ML）解決方案中，從無線接入技術（RAT）選擇 [8] 到惡意軟件檢測 [9]，以及支持機器學習實踐的網絡系統的開發（例如 [10 ]，[11]）。機器學習能夠從流量數據中系統地挖掘有價值的信息，並自動發現其相關性，這類問題對於人類專家來說太過複雜 [12]。作爲機器學習的重要部分，深度學習在計算機視覺 [13] 和自然語言處理（NLP）[14] 等領域取得了卓越的進展。網絡研究人員也開始認識到深度學習的重要性，並探索如何將深度學習應用到移動網絡領域 [15], [16]。
我們有充分理由在在 5G 移動和無線網絡中嵌入深度學習，尤其在處理移動環境產生的異構數據。因爲這些數據通常來源廣泛，格式各異，並且表現出複雜的相關性 [17]。傳統的機器學習工具需要繁瑣的特徵工程才能根據這些數據做出準確的推論和決策。深度學習消除了領域專業知識的門檻，因爲它採用分層特徵提取，該技術可以有效地提取信息並從數據中獲取越來越抽象的相關性，同時最大限度地減少數據預處理工作量。基於GPU（圖形處理單元）的並行計算進一步使深度學習能夠在毫秒內進行推理。這有利於分析網絡，提高管理準確度並克服傳統數學技術（例如凸優化、博弈論、元啓發式）的運行時間限制。
儘管移動網絡領域的深度學習炙手可熱，但現有的成果分散在不同的研究領域，缺乏全面而簡明的研究。本文通過介紹這兩個領域交叉研究的最新調查，填補了深度學習與移動、無線網絡之間的鴻溝。除了回顧相關度最高的文獻之外，本文還討論了各種深度學習架構的優缺點，並提出深度學習模型的選擇策略，以解決移動網絡問題。此外，本文還進一步研究瞭如何調整DL模型框架以針對特定移動網絡任務的方法，以在複雜環境下實現最佳性能的方法。最後，本文指出未來值得深入研究的方向和尚未解決的重要問題，而最終目標是爲用深度學習來解決各領域問題的網絡研究人員和從業人員提供明確的指導。
論文結構：如圖 1 所示，本文采用自上而下的方式組織文章。首先，本文將討論圍繞深度學習、未來移動網絡和使用深度學習構建的網絡應用程序進行的高層次概述工作，這些工作有助於定義本文的範圍和貢獻 (第 2 節)。鑑於深度學習技術是移動網絡社區中的新課題，第 3 節給出了深度學習的基本背景，突出瞭解決移動網絡問題的直接優勢。許多因素能夠促進移動網絡應用領域的深度學習實現 (包括專用的深度學習庫、優化算法等)。第 4 節討論了這些促進因素，幫助移動網絡研究人員和工程師選擇合適的深入學習軟硬件平臺。
第 5 節介紹和比較了最先進的深度學習模型，並提供了網絡問題解決方案。第 6 節回顧了近期深度學習領域中移動和無線網絡應用，本文將這些應用分爲不同的場景，從移動流量分析到安全以及新興應用。第 7 節討論瞭如何針對移動網絡問題定製深度學習模型，並強調網絡研究中，深度學習應用相關的開放性問題（第 8 節）。本文結尾部分簡要討論移動網絡和深度神經網絡之間的相互作用（第 9 節）。
2 文章相關工作概述及綜述範圍
近來深度學習有很多先進的綜述性調查或研究，它們都令深度學習尤其是移動端網絡架構在終端設備上有很大的提升。一般來說，深度學習的這些進步主要體現在先進的並行計算、分佈式機器學習系統、便捷的深度學習框架和高效的最優化方法等。我們在下表 3 展示了這些進步，並在論文中詳細討論它們。
Alt text
our scope：
本調查的目的是爲移動網絡領域提供最先進的深度學習實踐的全面觀點。文章旨在回答以下關鍵問題：
1）爲什麼深度學習有望解決移動網絡問題？
2）與移動和無線網絡相關的尖端深度學習模型是什麼？
3）移動網絡領域最新成功的深度學習應用是什麼？
4）研究人員如何才能針對特定的移動網絡問題量身定製深度學習？
5）哪些是值得進一步研究的最重要和最有希望的方向？
文章超越了以往的作品，特別關注了深度學習和移動網絡之間的交叉領域。雖然主要範圍仍然是移動網絡領域，但爲了完整起見，我們還討論了無線網絡的深度學習應用，並確定與這些領域密切相關的新興應用領域。總體而言，我們的論文與以前的調查區別於以下觀點：
（i）我們特別關注移動網絡分析和管理的深度學習應用，而不是廣泛討論深度學習方法（例如在[18]，[19]中）或集中在單個應用領域，例如移動大數據分析與特定平臺[17]。
（ii）我們從移動網絡的角度討論尖端的深度學習技術（例如，[66]，[67]），側重於它們在這個領域的適用性，同時不太關注或許已經過時的傳統的深度學習。
（iii）我們分析現有的非聯網問題與移動網絡特有問題的相似之處;基於這一分析，我們提供深入瞭解最佳深度學習架構選擇策略和適應方法的見解，以便利用移動網絡的特性進行分析和管理任務。
作者表示，這是第一次從深度學習的角度來談移動網絡分析和管理的文章。我們還首次提供了有關如何針對移動網絡問題量身定製深度學習的見解。
3. 深度學習基礎
我們首先簡要介紹深度學習，重點介紹該領域計算技術背後的基本原理及其成功的關鍵因素。深度學習實質上是ML的一個子分支，其中算法通過多層非線性處理單元從原始數據中分層提取知識，以根據某個目標目標進行預測或採取行動。與傳統ML相比，深度學習的主要優勢在於自動特徵提取，從而避免了昂貴的手工特徵工程。我們在圖2中高層次地闡述了深度學習，機器學習和人工智能（AI）之間的關係。
這門學科追溯到75年前，當時使用閾值邏輯來產生計算模型用於神經網絡[68]。然而，直到20世紀80年代後期，神經網絡（NN）纔得到了人們的關注，因爲Williams和Hinton表明，多層神經網絡可以通過向後傳播錯誤來有效地訓練[69]。LeCun和Bengio隨後提出了現在流行的卷積神經網絡（CNN）體系結構[70]，但由於當時可用系統的計算能力限制造成了發展的停滯。繼最近GPU的成功之後，CNN被用來大幅度降低大規模視覺識別挑戰（LSVRC）中的錯誤率[71]。這使得研究者們對深度學習產生了前所未有的興趣，突破在各種計算機科學領域不斷出現。
A.深度學習的基本原理
深度神經網絡的關鍵目標是通過單元（或神經元）的簡單和預定義操作的組合來逼近複雜函數。這樣一個目標函數幾乎可以是任何類型的，比如圖像和他們的類標籤之間的映射（分類），基於歷史值計算未來股票價格（迴歸），或者甚至根據當前狀態在棋盤上決定下一步最佳落子（控制）。所執行的操作通常由特定的一組隱藏單元與非線性激活函數的加權組合來定義，具體取決於模型的結構。這些操作與輸出單元一起被命名爲“圖層（layers）”。神經網絡結構類似於大腦中的感知過程，其中在給定當前環境的情況下激活特定的一組單元，從而影響神經網絡模型的輸出。在數學術語中，深層神經網絡的體系結構通常是可微分的，因此可以學習模型的權重（或參數），根據基本鏈規則[69]，使用梯度下降法通過反向傳播最小化損失函數。圖3中舉例說明了深度神經網絡的學習和推理過程的原理，我們以CNN爲例。
對於一般的深度學習來說，它們可以抽象爲一系列相互嵌套的複合函數，且這種複合函數在直觀上可以表示爲一系列疊加的層級。如下展示了一般深度神經網絡架構的訓練和推斷過程，其中正向傳播即神經網絡的推斷過程。因爲它們可以抽象爲一個複合函數，那麼根據複合函數的鏈式求導法則，就可以輕鬆地使用反向傳播和最優化方法訓練神經網絡。
B.深度學習的優勢
我們認識到採用深度學習解決網絡工程問題的幾個好處，即：
1）衆所周知，對於傳統ML算法的性能至關重要，特徵工程是昂貴的[72]。深度學習的一個關鍵優勢是它可以從具有複雜結構和內部相關性的數據中自動提取高級特徵。學習過程不需要由人設計，這極大地簡化了以前的特徵手工製作[18]。在移動網絡的背景下，這一點的重要性得到了放大，因爲移動數據通常是由不同來源產生的，往往是嘈雜的，並且表現出非平凡的空間和時間模式[17]，否則其標籤將需要傑出的人力。
2）其次，深度學習能夠處理大量數據。移動網絡可以快速生成大量不同類型的數據。訓練傳統的ML算法（例如，支持向量機（SVM）[73]和高斯過程（GP）[74]）有時需要將所有數據存儲在內存中，這在大數據情況下在計算上是不可行的。此外，隨着大量數據和平臺相對較快，ML的性能不會顯着增長[23]。相比之下，用於訓練神經網絡的隨機梯度下降（SGD）只需要每個訓練步驟的子集，這就保證了深度學習對於大數據的可擴展性。深度神經網絡進一步受益於大數據訓練防止模型過度擬合。
3）傳統的監督學習只有在有足夠的標記數據可用時纔有效。然而，目前大多數移動系統都生成未標記或半標記的數據[17]。深度學習提供了各種方法，允許利用未標記數據以無監督方式學習有用模式，例如限制玻爾茲曼機器（RBM）[75]，生成敵對網絡（GAN）[76]。應用包括聚類[77]，數據分佈近似[76]，非/半監督學習[78]，[79]和一次/零點學習[80]，[81]等。
4）深層神經網絡學習的壓縮表示可以在不同的任務之間共享，而在其他ML範式（例如線性迴歸，隨機森林等）中這是有限的或難以實現的。因此，可以對單個模型進行培訓以實現多個目標，而不需要針對不同的任務進行完整的模型重新訓練。我們認爲這對於移動網絡工程是至關重要的，因爲它在執行多任務學習應用時降低了移動系統的計算和內存需求[82]。
通過深度神經網絡學習的壓縮表示可以在不同的任務之間共享，而在其他ML範例（例如，線性迴歸，隨機森林等）中這是有限的或難以實現的。因此，可以對單個模型進行培訓以實現多個目標，而不需要針對不同的任務進行完整的模型重新訓練。我們認爲這對於移動網絡工程是至關重要的，因爲它在執行多任務學習應用時降低了移動系統的計算和內存需求[82]。
來自嵌入式和移動設備的連續音頻分析是一個日益重要的應用領域。越來越多的設備，如亞馬遜Echo，智能手機和手錶，甚至是研究原型都試圖從環境音頻中同時執行多種區分任務;例如，監聽背景聲音類別（例如，音樂或對話），識別某些關鍵詞（’Hey Siri’或’Alexa’），或從語音中識別用戶和她的情緒。深度學習算法的使用通常爲這種通用音頻任務提供最先進的模型性能。然而，深度學習模型的巨大計算需求與移動，嵌入式和物聯網設備的有限處理，能量和內存資源不一致。在本文中，我們提出並評估了一種新穎的深度學習建模和優化框架，它專門針對這類嵌入式音頻傳感任務。雖然支持的任務比語音識別的任務更簡單，但該框架旨在維持預測精度，同時最大限度地減少整個處理器資源佔用量。所提出的模型以多任務學習原則爲基礎，以訓練共享的深層和作爲輸入層僅利用音頻過濾器庫的統計摘要來進一步降低計算。我們發現，對於嵌入式音頻感應任務，我們的框架能夠保持類似的精度，這在類似的使用單任務學習和通常更復雜的輸入層的深層體系結構中被觀察到。最重要的是，平均來說，這種方法爲四種獨立的音頻感應任務提供了運行時間，能量和內存的減少2.169，假設有多種任務組合。
儘管深度學習在解決移動網絡問題時具有獨特優勢，但它需要一定的系統和軟件支持，纔能有效部署到移動網絡中。我們在下一節中回顧並討論這些啓用者。
4. 深度學習在移動網絡中的應用
5G 系統是試圖提升信息吞吐量並獲得低延遲通信服務的協議，它們能很大程度上提升用戶的 QoE [4]。但在 5G 系統上構建深度學習智能系統是非常複雜和昂貴的。幸運的是，目前一些進步令深度學習在移動端的應用變成了可能：（i）高級並行計算，（ii）分佈式機器學習系統，（iii）優秀的深度學習框架，（iv）快速優化算法和（v）霧計算（fog computing）。表 3 中總結了這些優勢。
因爲並行計算和分佈式系統的進步，目前深度學習出現了很多適用於移動端的框架和平臺，它們都尋求在移動端上精簡和優化深度模型。表 4 中對比了這些平臺。
5. 深度學習：頂尖性能
重新回顧圖 2，機器學習方法可以很自然地分爲監督學習、無監督學習和強化學習，而深度學習在這些領域中都實現了當前最頂尖的性能。在這一章節中，作者介紹了深度學習的關鍵原則，並討論它們在解決移動網絡問題上的潛力。下圖 4 和表 5 都展示了當前基本的深度神經網絡架構。
如上所示爲基本的深度網絡架構，當然最基礎的是有感知機發展而來的多層感知機或全連接網絡，該網絡前後兩層的所有神經元都相互有連接。而後卷積神經網絡和循環神經網絡都基於一些先驗特徵而只有局部連接，這樣不僅減少了權重數量，同時還加強了模型的性能。
以下展示了各神經網絡架構的屬性、優勢和應用於移動網絡的潛力等：
6. 深度學習驅動的移動和無線網絡
深度學習在移動網絡領域應用廣泛。我們在不同的網絡域中組織和分組深度學習應用，並描述它們的貢獻。接下來，本文將介紹所有領域的重要出版物，並對比其設計思路和原則。
A.DL驅動移動數據分析
移動技術的發展（例如智能手機，增強現實等）迫使移動運營商發展移動網絡基礎設施。 結果，移動網絡的雲端和邊緣端都在變得越來越複雜以滿足用戶的需求，每天產生並消耗大量的移動數據。這些數據既可以由記錄個人用戶行爲的移動設備的傳感器產生，也可以由反映城市環境動態的移動網絡基礎設施產生。合理利用這些數據對於多學科研究領域的研究工作（範圍從移動網絡管理和社會分析，公共交通，個人服務提供等）很有幫助[32]。
運營商在大量異構移動數據的管理和分析工作中不堪重負。深度學習可能是分析移動大數據最有效的方法。作者通過介紹移動大數據的特點開始本小節，然後對深度學習驅動的移動數據分析進行全面評估。
移動大數據的特點：分爲兩種，網絡級數據與應用級數據，它們之間的主要區別在於前者通常由網絡基礎設施收集，而後者則可以通過邊緣移動設備獲得。在討論移動數據的分析之前，先通過圖5簡要介紹移動數據的收集過程。
移動運營商可以通過網絡基礎設施生成收集到大量網絡級移動數據。這些數據不僅提供移動網絡性能（例如吞吐量，端到端延遲，抖動等）的全局視圖，還通過呼叫詳細記錄（CDR）個人會話時間，通信類型，發送者和接收者。網絡級數據通常表現出由用戶的行爲導致的顯着的時空變化[162]，這可以用於網絡診斷和管理，用戶流動分析和公共交通規劃[163]。
另一方面，應用程序級別的數據直接由安裝在各種移動設備上的傳感器或移動應用程序記錄。這些數據經常通過來自不同來源的衆包計劃收集，如全球定位系統（GPS），移動攝像機和錄像機以及便攜式醫療監護儀。移動設備充當傳感器中心，負責數據收集和預處理，並隨後根據需要將其分發到特定場所[32]。應用級數據通常直接或間接反映用戶的行爲，如行程，個人偏好與社交網絡[55]。收集並分析某用戶的應用級數據能夠重建該用戶的個性特徵與日常生活軌跡，可用於推薦系統和用戶定位等應用。但訪問這些數據通常涉及隱私和安全問題，這些問題必須得到適當的解決。
不同無線網絡中收集的數據是不一樣的，如下展示了由不同基礎設施收集的不同數據及及其類型。
移動大數據包括幾個獨特的特徵，如時空多樣性，異質性和個性[32]。
一些網絡級別的數據（例如移動流量）可以被視爲全景相機拍攝的照片，這些相機爲城市級感知系統提供城市傳感。這些圖像包含與大量個體運動有關的信息[162]，因此表現出顯着的時空多樣性。另外，由於現代智能電話可以容納多個傳感器和應用，所以一個設備可以同時產生異構數據。其中一些數據涉及個人的明確身份信息。不恰當的分享和使用可能會引發重大隱私問題。因此，在不損害用戶隱私的情況下從多源手機中提取有用的模式仍然是一項具有挑戰性的工作。
與傳統的數據分析技術相比，深度學習包含幾個獨特的功能來解決上述挑戰[17]，即：
1）深度學習在結構化數據和非結構化數據的各種數據分析任務中表現出卓越的性能。某些類型的移動數據可以表示爲圖像類（例如[163]）或順序數據[164]。
2）深度學習在從原始數據提取特徵方面表現出色。這樣可以節省人工特徵工程在移動數據上的巨大工作量，從而使員工可以將更多時間花在模型設計上，並且減少對數據本身的排序。
3）深度學習提供優秀的工具（例如RBM，AE，GAN），用來處理未標記的數據，而這類數據在移動網絡日誌中很常見。
4）多模式深度學習允許學習多種形式的特徵[165]，這使得它能夠對從異構傳感器和數據源收集的數據進行建模。
這些優勢使得深入學習成爲移動數據分析的有力工具。
1.網絡級移動數據分析：
網絡級移動數據是指由互聯網服務提供商記錄的日誌，包括基礎設施元數據，網絡性能指標和呼叫詳細記錄（CDR）（見表VI）。深度學習最近取得的顯着成功引發了全球關注，利用該技術（DL）對移動網絡級數據進行分析，優化移動網絡配置，進而改善終端用戶的體驗質量。
這些工作通常可以根據應用分爲四個主題，即網絡預測，網絡流量分類，CDR採集和無線電分析。在接下來的內容中，作者回顧了深入學習在這些學科中取得的成功。在閱讀文獻細節之前，通過比較表VII中的這些工作以更好的進行說明。
網絡預測：網絡預測是指根據歷史測量或相關數據推斷移動網絡流量或性能指標。*Pierucci和Micheli調查了關鍵客觀指標與QoE之間的關係[166]。考慮到平均用戶吞吐量，小區中活動用戶的數量，每個用戶的平均數據量以及信道質量指標，他們使用MLP來預測移動通信中用戶的QoE*，從而顯示出高預測準確性。網絡流量預測是深度學習變得越來越重要的另一領域。通過利用稀疏編碼和最大化池，Gwon和Kung開發了一個半監督的深度學習模型來對接收到的幀/數據包模式進行分類，並推斷出WiFi網絡中流的原始屬性[167]。他們的提議顯示出優於傳統ML技術的性能。Nie等人調查無線網狀網絡中的流量需求模式[168]。他們與高斯模型一起設計DBN以精確估計交通分佈。
在[170]中，Wang等人建議使用基於AE的架構和LSTM分別對移動通信量分佈的空間和時間相關性進行建模。具體而言，它們的AE包括用於空間特徵提取，降維和訓練並行性的全局堆疊AE多個局部堆疊AE。提取的壓縮表示隨後由LSTM進行處理以執行最終預測。在真實世界的數據集上進行的實驗證明了其優於SVM和自迴歸整合移動平均模型的性能。[171]中提出的一項重要工作將移動業務預測延伸至長期。作者將ConvLSTM和3D CNN結合起來構建了一個時空神經網絡，以捕捉米蘭城市的複雜特徵。他們進一步引入了微調方案和輕量級方法，將預測和歷史均值相結合，這大大延伸了可靠的預測步驟。
最近，張等人。提出一種原始的移動業務超分辨率（MTSR）技術，通過探測獲得的粗粒度對等物推斷全網精細粒度的移動通信量消耗，從而減少流量測量開銷[163]。受圖像超分辨率技術的啓發，他們設計了一個深度拉鍊網絡以及生成對抗網絡（GAN），以執行精確的MTSR並提高推斷的流量快照的保真度。他們在真實世界的數據集上進行的實驗表明，其架構可將移動流量快照的粒度提高100倍，同時明顯優於其他插值技術。
流量分類：流量分類的任務是識別網絡中流量中的特定應用或協議。Wang認識到深度神經網絡強大的特徵學習能力[172]。他們使用深度AE來識別TCP流數據集上的協議，並實現出色的精確度和召回率。[173]中的工作提出將1D-CNN用於加密流量分類。他們認爲1D-CNN可以很好地模擬順序數據，並且複雜度較低，因此有望解決流量分類問題。同樣，Lotfollahi et al。提供基於CNN的加密流量分類的深度數據包[174]。他們的框架減少了手工特徵工程的數量，並實現了極高的精度。CNN還被用於識別惡意軟件流量，其中[175]中的工作將流量數據視爲圖像，並將惡意軟件流量呈現的不尋常模式通過表示學習進行分類。有關移動惡意軟件檢測的類似工作將在第VI-E小節中進一步討論。
CDR數據挖掘：電信設備每天都在記錄大量的CDR數據。這描述了電話交易的具體實例，例如電話號碼，小區，會話開始/結束時間，流量消耗等。使用深度學習從CDR數據挖掘有用信息可以爲應用程序提供各種很有實用功能。例如，梁等人。建議Mercury使用RNN根據流式CDR數據估算城域密度預測[164]。他們將移動電話用戶的軌跡視爲一系列位置，而基於RNN的模型在處理順序數據方面效果很好。同樣，Felbo等人使用CDR數據來研究人口統計[176]。他們使用CNN來預測移動用戶的年齡和性別，這表明其優於其他ML工具的準確性。最近，陳等人。比較不同的ML模型，通過分析CDR數據來預測遊客的下一個訪問地點[177]。他們的實驗表明，基於RNN的預測器顯着優於傳統ML方法，包括樸素貝葉斯，SVM，RF和MLP。
2.應用級移動數據分析
受物聯網（IoT）日益流行的影響，目前的移動設備安裝了越來越多的應用程序和傳感器，可以收集大量的應用程序級移動數據[180]。使用人工智能從這些數據中提取有用信息可以擴展設備的功能[64]，[181] [182]，從而使用戶自己，移動運營商以及設備製造商都受益匪淺。這成爲移動網絡領域中一個重要且受歡迎的研究方向。儘管如此，移動設備通常運行在嘈雜，不確定和不穩定的環境中，用戶的移動速度很快，而且經常會改變其底層位置和活動環境。因此，採用傳統的機器學習工具通常不適用於應用程序級別的移動數據分析。先進的深度學習實踐爲應用級數據挖掘提供了強大的解決方案，因爲它們在物聯網應用中表現出更高的精度和更高的健壯性[183]。
存在兩種應用級移動數據分析方法，即（i）基於雲計算和（ii）基於邊緣的計算。我們在圖6中說明了這些場景之間的區別。基於雲計算的計算將移動設備視爲數據收集器，這些數據收集器不斷向有限本地數據預處理的服務器發送數據。服務器收集收到的數據以進行模型訓練和推理，隨後將結果發送回每個設備（或根據應用需求在本地存儲分析結果而不傳播）。這種情況的缺點是用戶必須訪問互聯網才能發送或接收來自服務器的消息，這會產生額外的數據傳輸開銷並可能導致邊緣應用嚴重延遲。基於邊緣的計算方案是指將預先訓練的模型從雲端卸載到單個移動設備，以便他們可以在本地進行推理。雖然這種情況下與服務器的交互較少，但其適用性受硬件和電池功能的限制。因此，它只能支持需要輕量計算的任務。
許多研究人員對應用級移動數據分析採用深度學習。作者根據他們的應用領域對這些工作進行分組，即移動醫療保健，移動模式識別和移動自然語言處理（NLP）和自動語音識別（ASR）。表八總結了一些較有有代表性的相關工作。
B.深度學習驅動的移動分析和用戶定位
瞭解一羣人的運動模式對流行病學，城市規劃，公共服務提供和移動網絡資源管理而言變得至關重要[244]。基於位置的服務和應用（例如移動AR，GPS）需要精確的個人定位技術[245]。因此，對用戶定位的研究正在迅速發展，培養出一套新興的定位技術[246]。在本小節中，作者對錶9中的相關工作進行了概述，並對它們進行討論。
C.深度學習驅動的無線傳感器網絡
無線傳感器網絡（WSNs）由一組分佈在不同地理區域的獨特或異構傳感器組成。這些傳感器通過無線通道協同監測物理或環境狀態（如溫度，壓力，運動和污染）並將收集到的數據傳輸到集中式服務器，參見無線傳感器網絡（圖5中的紫色圓圈以便說明）。無線傳感器網絡通常涉及三個關鍵的核心任務，即傳感，通信和分析。深度學習在WSN數據分析中越來越受歡迎。接下來，作者回顧了深度學習驅動的WSN（無線傳感器網絡）的作品。請注意，這與上文在第VI-A節討論的移動數據分析不同，因爲在本小節中只關注WSN應用程序。在開始之前，表X中總結了這些作品。
D.深度學習驅動的網絡控制
在這一部分中，重點轉向移動網絡控制問題。由於強大的函數逼近機制，深度學習在改進傳統強化學習[24]和模仿學習[277]方面取得了顯着的突破。這些進步有可能解決以前複雜或難以處理的移動網絡控制問題[278,279]。回想一下，在強化學習中，agent不斷與環境交互以學習最好的行動。通過不斷的探索和開發，agent學習如何在沒有反饋的情況下實現預期收益最大化。模仿學習遵循不同的學習範式，即“通過示範學習”。這種學習範式依賴於一個’老師’（通常是一個人），告訴agent在訓練過程中在某些觀察下應該執行什麼行動。經過充分的示範後，agent學習模仿老師行爲的策略，並且可以在沒有監督的情況下自行運作。
除了這兩種學習場景之外，在移動網絡中進行基於分析的控制備受關注。具體而言，該方案使用ML學習模型進行網絡數據分析，並隨後利用結果來輔助網絡控制。與以前的情況不同，基於分析的控制範例不會直接輸出操作。相反，它會提取有用的信息並將它們傳遞給一個額外的代理來執行這些操作。作者對圖7中三種控制範式之間的原理進行了說明。並回顧了本小節迄今爲止提出的作品，並在表11中對它們進行總結。
網絡優化：網絡優化是指針對特定環境網絡資源和功能的管控，以提高網絡性能。最近的深度學習在這方面取得了一些成功的成果。例如，劉等人。利用DBN發現無線網絡中多商品流量需求信息與鏈路使用之間的相關性[302]。基於預測移除了不可能被調度的鏈接，以便減少需求約束能量最小化的數據量。他們的方法在不會影響最優性能的條件下減少了高達50％運行時間。Subramanian和Banerjee提出使用深度學習來預測機器間通信的異構設備的健康狀況[280]。並將結果用於優化健康意識政策變更決策。他等人。採用深入的強化學習來解決無線網絡中的緩存和干擾對齊問題[281]，[282]。具體而言，他們將時變信道視爲有限狀態馬爾可夫信道，並應用深Q網絡來學習干擾對齊無線網絡中的最佳用戶選擇策略。與現有方法相比，這種新框架顯示出更高的總和率和能源效率。
路由：深度學習還可以提高路由規則的效率。Lee等人給出路由節點的詳細信息，利用3層深度神經網絡對節點度進行分類[284]。分類結果和臨時路線被用於使用維特比算法的以下虛擬路線生成。毛等人。採用DBN來決定下一個路由節點來構建一個軟件定義的路由器[140]。通過考慮開放式最短路徑優先作爲最佳路由策略，他們的方法實現高達95％的準確性，同時顯着減少開銷和延遲，並在信令間隔爲240毫秒的情況下實現更高的吞吐量。類似的結論在[285]中得到，其中作者採用Hopfield神經網絡進行路由選擇，在移動ad hoc網絡應用場景中實現更好的可用性和可生存性。
調度：有幾項研究調查與深度學習調度。Zhang等人引入深度Q學習驅動的混合動態電壓和頻率調節調度機制以減少實時系統（例如Wi-Fi通信，IoT，視頻應用）中的能量消耗[287]。在他們提出的模型中，AE被用來近似Q函數，框架執行經驗回放[303]來穩定訓練過程並加速收斂。仿真表明，與傳統的基於Q學習的方法相比，該方法能耗降低4.2％。同樣，[288]中的工作在路邊通信網絡中使用深度Q學習進行調度。特別是車輛環境之間的相互作用，包括行爲，觀測和獎勵信號的順序被制定爲MDP。通過近似Q值函數，代理學習一種調度策略，與傳統的調度相比，該策略可實現較少的不完整請求，延遲和繁忙時間以及較長的電池壽命方法。最近，Chinchaliet al。提出基於策略梯度的調度器來優化蜂窩網絡流量[289]。具體而言，他們將調度問題作爲MDP進行投入，並使用RF來預測網絡吞吐量，隨後將其用作組件作爲獎勵函數。通過一個真實的網絡模擬器進行的評估表明，他們的提議可以動態適應流量變化，這使得移動網絡能夠承載14.7％的數據流量，同時超過啓發式調度器超過2倍。
資源分配：孫等人。使用深度神經網絡來近似在干擾受限的無線網絡環境[290]下的加權最小均方誤差資源分配算法[304]的輸入和輸出之間的映射。通過有效的模仿學習，神經網絡近似作爲其老師實現了接近的性能，而只需要256個較短的運行時間。深度學習也已應用於雲無線接入網絡，Xu等人根據當前模式和用戶需求，採用深度Q學習來確定遠程射頻頭的開/關模式[291]。與單基站協會和完全協調的關聯方法的比較表明，所提出的DRL控制器允許系統滿足用戶需求，同時需要更少的能量。另外，費雷拉等人。採用深刻的國家行動 - 獎勵 - 國家行動（SARSA）來解決認知交流中的資源分配管理問題[292]。通過預測無線電參數的影響，它們的框架避免了浪費對壞參數的浪費試驗，降低了所需的計算資源。
無線電控制：在[294]中，作者使用深入強化學習來解決多信道無線網絡環境中的動態頻譜接入問題。在這種情況下，他們將LSTM併入深度Q網絡中，以維護和記憶歷史觀察值，允許架構在部分觀測情況下執行精確的狀態估計。他們將培訓流程分發給每個用戶，從而實現有效的培訓並行化併爲個人用戶學習良好的政策。實驗表明，與基準測試方法相比，此框架實現了信道吞吐量的兩倍。這項工作[295]揭示了無線電控制和信號檢測問題。作者特別介紹了Kerlym，一個開放的基於Keras的強化學習代理系列，用於OpenAI的無線電信號搜索環境。他們的代理展示穩定的學習過程，並能夠學習無線電信號搜索策略
其他應用：除了之前討論的應用之外，深度學習在其他網絡控制問題應用中也起着重要作用。毛等人。開發Pensieve系統，使用深層強化學習生成自適應視頻比特率算法[298]。具體而言，Pensieve採用了最先進的深度強化學習算法A3C，該算法將帶寬，比特率和緩衝區大小作爲輸入，並選擇導致最佳預期回報的最佳比特率。該模型通過離線設置進行培訓，並部署在自適應比特率服務器上，表明該系統在QoE方面優於現有最佳方案12％-25％。這項工作代表了在實際網絡系統上實施DRL的第一個重要步驟。Kim將物聯網的負載平衡問題與深度學習聯繫起來[301]。他建議DBN可以有效分析網絡負載並處理結構配置，從而實現物聯網中的高效負載均衡。
E.深度學習驅動的網絡安全
隨着無線連接的日益普及，保護用戶，網絡設備和數據免受惡意攻擊，未經授權的訪問和信息泄漏變得至關重要。網絡安全系統通過防火牆，防病毒軟件和入侵檢測系統（IDS）[305]來保護移動設備和用戶。防火牆是兩個網絡之間的接入安全網關。它允許或阻止基於預定義規則的上行鏈路和下行鏈路網絡流量。防病毒軟件檢測並刪除計算機病毒，蠕蟲和特洛伊木馬以及惡意軟件。IDS識別信息系統中的未授權和惡意活動或違規行爲。各自執行自己的功能來保護網絡通信，中央服務器和邊緣設備。
現代網絡安全系統越來越多地受益於深度學習[334]，因爲它可以使系統（i）自動學習經驗中的特徵和模式，推廣到未來的入侵（監督式學習）;或者（ii）識別與正常行爲明顯不同的模式（無監督學習）。這大大減少了預先定義的用於區分入侵的規則的工作量。除了保護網絡免受攻擊之外，深度學習還可以扮演“攻擊者”的角色，具有竊取或破解用戶密碼或信息的巨大潛力。作者在表12中總結了這些工作，並在下文中對其進行討論。
異常檢測：
異常檢測，旨在識別不符合預期行爲的網絡事件（例如攻擊，意外訪問和使用數據），正在成爲IDS中的一項關鍵技術。許多研究人員投身此領域，致力於開發AEs傑出的無監督能力[306]。例如，Thing調查了IEEE 802.11網絡中存在的攻擊和威脅的特徵[139]。他採用堆疊AE將網絡流量分爲5類（即合法，洪泛，注入和模擬流量），整體準確率達到98.67％。AE也在[307]中被利用，其中Aminanto和Kim使用MLP和疊加AE來進行特徵選擇和提取，表現出顯着的性能。同樣，馮等人。使用AE來檢測無線通信中的異常頻譜使用情況[308]。實驗表明，檢測精度可以從AE的深度顯着受益。
分佈式攻擊檢測也是移動網絡安全中的一個重要問題。汗等人。專注於檢測無線網狀網絡中的泛洪攻擊[309]。他們模擬一個有100個節點的無線環境，並人工注入中間和嚴重的分佈式洪泛攻擊來生成合成數據集。他們基於深度學習的方法實現了出色的假陽性和假陰性率。分佈式攻擊也在[310]中進行了研究，作者關注物聯網場景。[311]中的另一項工作是使用MLP來檢測分佈式拒絕服務攻擊。通過描述典型的攻擊事件模式，他們的模型可以很好地檢測已知和未知的分佈式拒絕服務入侵。
Martin等人提出有條件的VAE來識別物聯網中的入侵事件[312]。爲了提高檢測性能，他們的VAE推斷缺少與不完整測量相關的功能，這在IoT環境中很常見。真正的數據標籤嵌入到解碼器層中以協助最終分類。衆所周知的NSL-KDD數據集[335]的評估表明，他們的模型在識別拒絕服務，探測，遠離用戶和用戶到根攻擊方面實現了卓越的準確性，在F1得分方面比傳統的ML方法提高了0.18。
惡意軟件檢測：如今，移動設備正在攜帶大量私人信息。這些信息可能被竊取，並被安裝在智能手機上的惡意應用程序用於惡意目的[336]。正在利用深度學習來分析和檢測這些威脅。Yuan et al。使用有標籤和無標籤的移動應用來訓練RBM [313]。通過從300個樣本中學習，他們的模型可以非常準確地對Android惡意軟件進行分類，性能優於傳統ML工具，最高可達19％。他們的追蹤研究[314]命名爲Droiddetector進一步提高了檢測精度2％。同樣，蘇等人。分析Android應用程序的基本功能，即請求權限，使用權限，敏感應用程序編程接口調用，操作和應用程序組件[315]。他們使用DBN來提取惡意軟件的特徵和SVM進行分類，實現了高精度，並且每個推理實例只需要6秒。
Hou et al。從不同角度攻擊惡意軟件檢測問題。他們的研究指出，基於特徵的檢測不足以處理複雜的Android惡意軟件[316]。爲了解決這個問題，他們提出了可以自動執行代碼例程來構造加權有向圖的組件遍歷。通過使用Stacked AE進行圖形分析，他們的框架Deep4MalDroid可以準確檢測Android惡意軟件，該惡意軟件有意重新打包並混淆以繞過簽名並阻礙對其內部操作的分析嘗試。這項工作之後是Martinelli等人，他利用CNN來發現應用類型之間的關係，並從真實的移動設備中提取系統調用追蹤[317]。CNN也被用在[318]中，作者從NLP中吸取靈感，並將應用程序的反彙編字節碼作爲文本進行分析。他們的實驗表明，CNN可以有效地學習檢測指示惡意軟件的操作碼序列。陳等人。將位置信息納入檢測框架並利用RBM進行特徵提取和分類[319]。他們的建議提高了其他ML方法的性能。
殭屍網絡檢測：殭屍網絡是由受機器人威脅的機器組成的網絡。這些機器通常由一個利用殭屍工具損害公共服務和系統的botmaster控制[337]。檢測殭屍網絡具有挑戰性，現在成爲網絡安全中的一項緊迫任務。
深度學習在這一領域發揮着重要作用。例如，Oulehla等人建議使用神經網絡從移動殭屍網絡行爲中提取特徵[320]。他們設計了一個用於檢測客戶端服務器和混合殭屍網絡的並行檢測框架，並展現出令人鼓舞的性能託雷斯等人。使用LSTM [321]研究殭屍網絡在其整個生命週期中表現出的常見行爲模式。他們同時使用欠採樣和過採樣來解決殭屍網絡和數據集中正常流量之間的類別不平衡問題，這在異常檢測問題中很常見。類似的問題也在[322]和[323]中進行研究，其中作者使用標準MLP分別執行移動和對等殭屍網絡檢測，實現了較高的總體準確性。
隱私：在訓練和評估深度神經網絡過程中保護用戶隱私是另一個重要的研究課題[338]。最初的研究在[324]中進行，作者使參與者能夠在不共享輸入數據的情況下訓練和評估神經網絡。這可以保護個人隱私，同時讓所有用戶在協作改善模型性能時受益。他們的框架在[325]中進行了重新研究和改進，另一組研究人員採用加性同態加密來解決[324]中忽略的信息泄漏問題，而不影響模型精度。這大大加強了系統的安全性。Osia等人使用深度學習專注於保護隱私的移動分析。他們設計了一個基於Siamese體系結構的客戶端 - 服務器框架[339]，該框架適用於移動設備中的特徵提取器，並相應地包含雲中的分類器[326]。通過從雲中卸載功能提取，他們的系統提供了強大的隱私保證。[327]中的一項創新工作意味着深度神經網絡可以通過差分隱私進行訓練。作者介紹了一種有差別的私人SGD，以避免披露培訓數據的私人信息。在兩個公開的圖像識別數據集上的實驗表明，他們的算法能夠保持用戶的隱私，在複雜性，效率和性能方面具有可控的成本。
攻擊者：儘管應用程序較少，但深度學習一直用於安全攻擊，如損害用戶的私人信息以猜測謎團。在[331]中，Hitaj et al。建議協作學習深層模型是不可靠的。通過對GAN進行訓練，他們的攻擊者能夠影響協作式學習過程，並通過注入假培訓樣本引誘受害者披露隱私信息。他們的GAN甚至成功打破了[327]中的差異式私人協作學習。作者進一步研究了GAN在密碼猜測中的使用。在[340]中，他們設計了一個PassGAN來學習一組泄露密碼的分佈。一旦對數據集進行了培訓，PassGAN能夠在不同測試集中匹配超過46％的密碼，而無需用戶干預或密碼學知識。這種新技術有潛力徹底改變目前的密碼猜測算法。Greydanus使用LSTM網絡打破解密規則[332]。他們把解密當作序列到序列的轉換任務，並且訓練一個帶有大對謎對的框架。擬議的LSTM在學習多字母密碼算法方面表現出色。Maghrebi等人利用各種深度學習模型（即MLP，AE，CNN，LSTM）構建一個精確的分析系統來執行側通道密鑰恢復攻擊[333]。令人驚訝的是，基於深度學習的方法在打破無保護和受保護的高級加密標準實現方面的效率方面比其他模板機器學習攻擊表現出壓倒性的性能。
F.深度學習驅動的移動網應用
深度學習驅動信號處理
網絡數據貨幣化
物聯網網內計算：Kaminski等人沒有將IoT節點作爲數據的生產者或處理信息的最終消費者，將神經網絡嵌入到IoT網絡中，允許IoT節點協同處理與數據流同步生成的數據[352]。這使得物聯網網絡中的低延遲通信成爲可能，同時從雲端卸載數據存儲和處理。具體而言，他們將每個訓練過的神經網絡的每個隱藏單元映射爲物聯網網絡中的一個節點，並研究導致最小通信開銷的最佳投影。他們的框架在無線傳感器網絡的網絡計算中執行類似的功能，這爲霧計算開創了一個新的研究方向。
移動羣體感測：肖等人。主張存在惡意的移動用戶故意向服務器提供虛假傳感數據，以節約成本和保護隱私，從而使移動羣衆感知系統變得脆弱[353]。他們將服務器用戶系統制定爲Stackelberg遊戲，其中服務器通過分析每個感知報告的準確性扮演負責評估個人感知努力的領導者的角色。用戶通過對努力的評估付費，因此欺騙用戶將受到零獎勵的懲罰。爲了設計最佳支付策略，服務器採用深度Q網絡，從體驗感知報告和支付策略中獲取知識，而不需要了解特定傳感模型的知識。模擬在傳感質量，對攻擊的抵禦能力和服務器效用方面優於傳統的Q學習和隨機支付策略。
7. 模型改進：DL框架對特定移動網絡任務的適應
雖然深度學習在許多移動網絡領域表現出色，但免費午餐（NFL）定理表明，沒有一種模型可以在所有問題中普遍應用[356]。這意味着對於任何特定的移動和無線網絡問題，可能需要我們採用不同的深度學習架構以取得更好表現。本節將重點討論如何從三個角度爲移動網絡應用定製深度學習，即移動設備和系統，分佈式數據中心以及不斷變化的移動網絡環境。
A. 用於移動設備和系統的深度學習架構改進
未來5G移動網絡的超低延遲要求，以及移動系統運行效率，包括深度學習驅動應用。但是，在移動系統上運行復雜的深度學習可能會違反某些延遲限制。另一方面，大多數目前的移動設備都受到硬件能力的限制。這意味着在沒有調整的情況下在這樣的設備上實施複雜的深度學習架構可能在計算上是不可行的。爲了解決這個問題，許多研究人員致力於改進現有的深度學習架構[357]，這樣他們就不會違反任何延遲和能量約束[358]，[359]。在審查之前，表14中概述了這些工作。
Iandola等人。爲嵌入式系統設計緊湊的SqueezeNet，實現了在比AlexNet少50倍的參數下，達到與AlexNet相比具有相似的精度[360]。霍華德等人。擴展這項工作並引入一個高效的精簡CNN系列，稱爲MobileNet，它使用深度分離的卷積運算來大幅度減少所需的計算量和模型大小[361]。這種新設計產生了可以低延遲運行的小型模型，使他們能夠滿足移動和嵌入式視覺應用的需求。他們進一步引入了兩個超參數來控制乘法器的寬度和分辨率，這可以在精度和效率之間進行適當的折衷。ShuffleNet由Zhang等人提出。通過採用逐點組卷積和信道混洗來提高MobileNet的準確性，同時保持相似的模型複雜度[362]。他們發現更多的卷積組可以減少計算需求，因此可以在一定的計算能力約束下增加組數以擴展由模型編碼的信息以提高性能。
Zhang等人專注於減少用於移動多媒體功能學習的完全連接層的參數[363]。通過將Trucker分解應用於模型中的權重副作用，參數的維數顯着減少，同時保持良好的重建能力。Trucker分解也已在[368]中使用，其中作者試圖用較少的參數來近似模型以節省存儲空間。針對RNN模型進一步研究移動優化。在[364]中，Cao等人使用名爲RenderScript 16的移動工具箱來並行化特定的數據結構，並使移動GPU執行計算加速。他們的提議大大減少了在Android智能手機上運行RNN模型的延遲。陳等人。揭示了在iOS移動設備上實施CNN [365]。特別是，它們減少了模型執行的延遲，即數據可重用性的空間探索和內核冗餘刪除。前者緩解了卷積層的高帶寬需求，而後者則減少了內存和計算要求，而且性能可以忽略不計。這大大減少了在移動設備上運行CNN的開銷和延遲。
Rallapalli等人調查通過在移動CPU和GPU上使用內存優化將非常深的CNN從雲端卸載到邊緣設備[366]。他們的框架允許在移動物體檢測應用中高速運行具有大存儲器要求的深CNN。Lane等人開發一個軟件加速器DeepX，通過利用兩種推理時間資源控制算法，即運行時間層壓縮和深層體系結構分解[367]，協助移動設備上的深度學習實現。具體來說，運行時間層壓縮技術通過擴展模型壓縮原理來控制推理階段的內存和計算運行時間。這在移動設備中很重要，因爲在當前的硬件平臺上卸載對邊緣的推斷更實用。
此外，深層架構設計“分解計劃”，旨在將數據和模型操作最優地分配給本地和遠程處理器，並針對單個神經網絡結構進行量身定製。通過對這兩者進行梳理，DeepX可以在特定的計算和內存限制條件下實現能量和運行效率的最大化。除了這些工作之外，研究人員還通過其他設計和複雜的優化，如參數量化[369,337]，稀疏化和分離[370]，表示和存儲器共享[82]，[375]，卷積操作優化[371]，修剪[372]和雲援助[373]。這些技術將深度神經網絡嵌入到移動系統和設備中具有重要意義。
B. 深度學習適應分佈式數據容器（看不懂。。。）
移動系統每天都會產生和消耗大量的移動數據，這可能涉及類似的內容，但分佈在世界各地。將所有這些數據移動到集中式服務器以執行模型培訓和評估，不可避免地會引入通信和存儲開銷，這是難以擴展的。然而，從不同地點生成的移動數據通常表現出與人類文化，移動性，地理拓撲等相關的不同特徵。爲了獲得用於移動網絡應用的健壯的深度學習模型，需要用不同數據來訓練模型。而且，將全面的訓練/推理過程完全納入雲中將引入不可忽略的計算開銷。因此，適當地將模型執行卸載到分佈式數據中心或邊緣設備可以顯着減輕雲的負擔。一般來說，有兩種解決方案來解決這個問題。即，（i）分解模型本身以單獨訓練（或推斷）其組成部分;或者（ii）縮放訓練過程以在與數據容器相關聯的不同位置執行模型更新。這兩種方案都允許人們訓練單一模型而不需要集中所有數據。圖8中說明了這兩個解決方案的原理，並回顧本小節中的相關技術。
模型並行性：大規模分佈式深度學習首先在[95]中進行了研究，其中作者開發了一個名爲DistBelief的框架，該框架能夠在數千臺機器上訓練複雜的神經網絡。在他們的框架中，整個模型被分割成更小的組件並分佈在各種機器上。只有跨越機器之間邊界的具有邊（例如層之間的連接）的節點需要用於參數更新和推理的通信。該系統進一步涉及參數服務器，其使每個模型副本能夠在訓練期間獲得最新參數。實驗證明，所提出的框架在單個GPU上的CPU集羣上實現了顯着更快的訓練速度，同時在ImageNet [144]分類上實現了最佳性能。Teerapittayanon等人。提出了針對分佈式系統的分佈式深度神經網絡，其中包括雲服務器，霧層和地理分佈式設備[376]。特別是，它們擴展了整個神經網絡體系結構，並將其組件從雲層分佈到終端設備。該模型利用本地聚合器和二進制權重來降低計算存儲和通信開銷，同時保持不錯的準確度。多視圖多攝像機數據集上的實驗表明他們的提議可以在分佈式計算系統上執行高效的基於雲的培訓和局部推理。重要的是，在不違反延遲限制的情況下，分佈式深度神經網絡獲得與分佈式系統相關的重要益處，例如容錯和隱私。
訓練並行性：訓練並行性對於移動系統也很重要，因爲移動數據通常來自不同來源的異步數據。有效地訓練模型，保持一致性，快速收斂和準確性仍然具有挑戰性[379]。
解決此問題的一種實用方法是執行異步SGD。其基本思想是使維護模型的服務器允許接受來自工人的陳舊延遲信息（例如數據，梯度更新）。在每次更新迭代時，服務器只需要等待較少數量的工作人員。這對於在移動系統中分佈式機器上訓練深度神經網絡至關重要。異步SGD首先在[380]中進行了研究，其中作者提出了一個名爲HOGWILD的無鎖並行SGD並行算法，該算法表現出比鎖定同類產品更快的收斂速度。由於每個模型副本都要求最新版本的參數，[95]中的傾盆降低SGD可改善工作節點故障時訓練過程的穩健性。因此，少量失敗的機器不會對培訓過程產生重大影響。在[381]中採用了類似的想法，其中Goyal等人研究大型微型計算機的一套技術（即學習速率調整，預熱，批量標準化）的使用，這些技術爲分佈式系統上的大規模深度神經網絡的培訓提供了重要的見解。最終，他們的框架可以在1小時內在ImageNet上訓練一個精確的網絡，與傳統算法相比，這是令人印象深刻的。
Zhang等人提出大多數異步SGD算法由於隨機梯度的固有變化而收斂緩慢[382]。他們提出改善的新元與方差減少來加速收斂。在谷歌雲計算平臺上訓練深度神經網絡時，它們的算法在收斂性方面明顯優於其他異步SGD。異步方法也被應用於深度強化學習。在[66]中，作者創建了多個環境，允許代理對主結構執行異步更新。新算法A3C打破了順序依賴性，降低了體驗重放的可靠性，並顯着加快了傳統ActorCritic算法的訓練速度。在[383]中，Hardy等人進一步研究在雲和邊緣設備上以分佈式方式學習神經網絡。他們特別提出了一種訓練算法AdaComp，它允許將工作人員更新壓縮到目標模型。這顯着降低了雲和邊緣之間的通信開銷，同時在發生工人故障時保持良好的容錯能力。
聯合學習（多任務學習？）最近已經成爲一種新興的並行方法，它使移動設備能夠共同學習共享模型，同時保留單個設備上的所有訓練數據[384]，[385]。除了從中央服務器卸載訓練數據之外，它在安全聚合協議（386）下執行模型更新，該協議僅在有足夠用戶參與的情況下對平均更新進行解碼，而忽略單個手機的更新。這允許模型以安全，高效，可伸縮和容錯的方式聚合更新聚合。
C.深度學習適應動態變化的移動網絡環境
移動網絡環境通常會隨着時間的推移呈現出不斷變化的模式例如，一個地區一天的空間移動數據流量分佈隨時間推移而顯着變化[387]。在動態變化的移動環境中應用深度學習模型需要終身學習能力（lifelong learning ability），以不斷學習移動環境中的新特性，同時不忘記過去學到的必要的規則。此外，新的智能手機定位病毒正在通過移動網絡迅速傳播，對用戶的隱私和個人財產造成嚴重威脅。這些對目前的異常檢測系統和反病毒軟件構成了前所未有的挑戰，因爲它們需要這樣的框架才能使用有限的信息及時應對新的威脅。爲此，該模型應具備遷移學習能力，可以使來自不同作業或數據集的預訓練模型的知識快速傳輸。這將允許模型與之配合良好有限的威脅樣本（one-shot learning）或新威脅的有限元數據描述（zero-shot learning）。因此，對於動態變化移動網絡環境，終生學習和遷移學習的應用都很有必要。圖9中說明了這兩種學習範式，並回顧了本小節中的重要研究。
深度終身學習：終身學習模仿人類行爲，並尋求建立一個能夠不斷適應新環境的機器[388]。一個理想的終身學習機器能夠保留以前學習經驗中的知識，通過必要的調整來幫助將來的學習和解決問題，這對於學習移動網絡環境中的問題具有重要意義。
深度遷移學習：與終身學習不同，遷移學習只是尋求使用特定領域的知識來幫助目標領域的模型訓練。使用遷移學習可以加速新任務的訓練過程，因爲新任務不需要從頭開始學習。這對於移動網絡環境至關重要，因爲它們需要敏捷響應新的網絡模式和威脅。目前它在計算機網絡領域有着重要的應用[51]，如Web挖掘[393]，緩存[394]和基站休眠機制[158]。
存在兩種極端轉移學習範式，即one-shot learning and zero-shot learning。one-shot learning指的是一種學習方法，只要從一個樣本或少量樣本中獲得儘可能多的關於某個類別的信息，就可以使用預先訓練的模型[395]。另一方面，zero-shot learning不需要任何類別的樣本[396]。它旨在通過對新類別的元描述以及與現有訓練數據的關聯來學習新的分佈。儘管深度one-shot learning[80]，[397]和zero-shot learning.[398]，[399]的研究都是新穎的，但兩種範例在檢測移動網絡中的新威脅或模式方面都頗有前途。
8. 未來研究展望
儘管深度學習在移動網絡領域取得的成果日益顯著，但仍有若干關鍵的開放性研究問題存在，值得去關注。接下來，本文將討論這些挑戰並界定這些可通過深度學習解決的重要移動網絡問題，進而爲未來的移動網絡研究提出一些參考方向。
A.用大量高質量數據爲深度學習服務
深度神經網絡依靠大量高質量的數據來獲得令人滿意的性能。在培養龐大而複雜的架構時，數據量和質量非常重要，因爲深層模型通常有大量參數需要學習和配置。這個問題在移動網絡應用中仍然存在。不幸的是，與一些流行的研究領域（如計算機視覺和NLP）不同，仍然缺乏用於移動網絡應用的高質量和大規模標記數據集，因爲服務提供者更願意保留其數據的機密性並且不願發佈其數據集。這在一定程度上制約了移動網絡領域深度學習的發展。此外，由於移動傳感器和網絡設備的侷限性，所收集的移動數據通常會遭受丟失，冗餘，錯誤標記和類別失衡，因此不能直接用於培訓目的。
爲了建立一個智能的5G移動網絡架構，需要高效和成熟的移動數據處理精簡和平臺，以服務於深度學習應用。這需要大量的數據收集，傳輸，清理，聚類和轉換的研究工作。作者呼籲研究人員和公司發佈更多的數據集，這可以大大推進移動網絡領域的深度學習應用，並使學術界和工業界的廣泛社區受益。
B.時空移動流量數據挖掘中的深度學習
精確分析地理區域的移動業務數據對於事件本地化，網絡資源分配，基於上下文的廣告和城市規劃越來越重要[387]。但是，由於智能手機用戶的流動性，手機的時空分佈流量和應用程序流行度非常不規則（請參見圖10中的示例）[400]，[401]，這對於捕獲它們的複雜關聯特別困難。
P.S.:longitude/latitude 經度/緯度
最近的研究表明，城市上的移動傳感器（例如移動交通）收集的數據可以被視爲全景相機拍攝的照片，這些相機爲城市監視提供城市規模的傳感系統[403]。這些交通感知圖像包含了與大規模個體移動相關的信息[162]。我們認識到，來自空間和時間維度的移動流量數據與視頻，圖像或語音序列具有重要的相似性，如[163]所證實的。我們在圖11中說明他們的類比。
具體而言，大規模移動流量的演變與視頻非常相似，因爲它們都由一系列“幀”組成。如果我們專注於單個交通快照，則空間移動通信量分佈與圖像類比。此外，如果我們放大到一個狹窄的位置來衡量其長期的流量消耗，我們可以觀察到單個流量序列看起來與自然語言序列相似。這些意味着，在某種程度上，這是一套完善的計算機視覺（例如CNN）或NLP（例如RNN，LSTM）工具可以成爲移動通信業務分析的有希望的候選者[163]。除了相似之外，我們還觀察到移動流量快照獨有的幾個屬性，使它們不同於圖像或語言序列。即，
1）細粒度業務快照中的相鄰像素的值通常不會顯着改變，而這在自然圖像的邊緣區域中經常發生。
2）單一移動流量簇通常呈現出週期性（在每日和每週屬性中），但是這種屬性不適用於視頻中的像素。
3）由於用戶的移動性，一個地區的移動流量消費在不久的將來更可能停留或轉移到鄰近地區，而像素的值可能不會在視頻中移動。
移動業務的這些特性簡化了它們的時空相關性，可以將其用作模型設計的先驗知識。我們認識到在移動流量挖掘中採用深度學習的幾個獨特優勢：
1）深度學習在CV和NLP應用中表現出色，移動流量與這些數據具有顯着的相似性，但其時空複雜度較低;
2）LSTM捕捉良好的時間相關性和時間序列數據的依賴性，而不規則和隨機的用戶移動性可以通過使用變形CNN的轉換能力來學習[146]。
3）先進的GPU計算使得神經網絡的快速訓練可行，並行技術能夠支持低延遲移動流量數據分析。
我們期望深度學習能夠有效利用（移動流量的）時空特性以解決現有工具的侷限性，例如指數平滑[404]和自迴歸整合移動平均模型[405]。這些或將把關於移動流量分析的研究工作提升到更高的水平。
雖然機器學習和人工智能早已應用於網絡研究，但大部分這類作品都側重於監督式學習。近來，使用無監督機器學習使用非結構化原始網絡數據來提高網絡性能並提供諸如流量工程，異常檢測，因特網流量分類和服務質量優化等服務的趨勢一直在上升。在網絡中應用無監督學習技術的興趣源於其在計算機視覺，自然語言處理，語音識別和最優控制（例如，用於開發自主式自動駕駛汽車）等其他領域的巨大成功。無監督學習很有趣，因爲它可以不受標籤數據和手動手工特徵工程的需求限制，從而促進機器學習的靈活，一般和自動化。本調查報告的重點是概述無監督學習在網絡領域的應用。我們提供了一個全面的調查，突出了無監督學習技術的最新進展，並描述了他們在網絡環境下的各種學習任務的應用。我們還提供關於未來方向和開放研究問題的討論，同時也確定潛在的隱患。雖然以前已經發表了一些關於機器學習在網絡中的應用的調查報告，但文獻中沒有關於類似範圍和廣度的調查。通過本文，我們通過仔細綜合這些調查報告的見解來提高知識水平，同時也提供當代最新進展的報道。
C.深度無監督學習支持移動數據分析
我們觀察到目前在移動領域的深度學習實踐網絡主要採用有監督的學習和強化學習，而深度無監督的潛力學習還有待探索。但是，作爲移動網絡每天生成大量的未標記數據，數據標籤成本高，需要特定領域的知識。爲了便於分析原始移動網絡數據，無監督學習對提取洞察力至關重要從未標記的數據[406]，以優化移動網絡功能來改善QoE。
深度學習在無監督方面是足智多謀的學習，因爲它提供了優秀的無監督工具，如AE，RBM和GAN。這些模型通常不需要做特徵工程，因此很適合用來學習異構和非結構化的移動數據。尤其是，深層AE可以很好地進行無監督的異常檢測。一罐只使用正常數據來訓練一個AE，並拿出測試數據產生的重建錯誤明顯高於訓練錯誤作爲異常值[407]。？雖然不太受歡迎，但RBM可以執行分層無監督的預訓練，可以加速整體模型訓練過程。GAN擅長模仿數據分佈，可用作模擬器模仿真實的移動網絡環境。最近的研究顯示GAN可以通過製作來保護通信定製他們自己的密碼學以避免竊聽[408]。所有這些工具都需要進一步的研究才能完成移動網絡領域的潛力。
D.深度強化學習支持移動網絡控制
目前，許多移動網絡控制問題已通過約束優化，動態規劃和博弈論方法得到解決。不幸的是，這些方法要麼對目標函數（例如函數凸性）或數據分佈（例如高斯分佈或泊松分佈）做出有力的假設，要麼承受時間和空間的高複雜性。但是，隨着移動網絡變得越來越複雜，這種假設有時變得不切實際。目標函數可能會進一步受到大量變量的影響，這些變量對這些數學方法造成嚴重的計算和內存挑戰。
另一方面，儘管有馬爾可夫屬性，深層強化學習並沒有對目標系統做出有力的假設。它採用函數逼近，可以很好地解決大型動作空間的問題，從而使強化學習能夠擴展到以前難以控制的網絡控制問題。受到其在Atari [128]和Go [409]遊戲中取得的顯着成就的啓發，一些研究人員開始將DRL帶入解決複雜的網絡控制問題，這已在6-D中進行了綜述。但是，我們相信這些工作只顯示出DRL能力的一小部分，並且其在移動網絡控制方面的潛力在很大程度上仍未被探索。例如，它可以被利用來從蜂窩網絡中提取豐富的功能，以啓用/關閉基站的智能開關，從而減少基礎設施的能源浪費[410]。例如，DeepMind培訓DRL代理可以將Google數據中心冷卻費用減少40％。這些令人激動的應用使我們相信DRL將在未來將移動網絡控制的性能提高到更高的水平。
9. 結論
深度學習在移動和無線網絡領域扮演着日益重要的角色。本文給出了一份有關這兩個不同領域之間交叉點的最新的全面工作調研，並總結了各種深度學習模型的基本概念和高級原理，然後通過回顧不同應用場景下的工作來關聯深度學習和移動網絡學科。本文還討論瞭如何對深度學習模型做出修改已適應特定移動網絡數據挖掘分析任務，這是以前調查完全忽視的一個方面。最後，作者給出了在未來有可能帶來有價值的研究結果的若干個開放的問題研究方向，並希望這篇文章能成爲研究人員和從業人員將機器智能應用於移動網絡環境中複雜問題的有趣而明確的指南。
結論
深度學習和IoT近年來受到研究人員和商業領域的廣泛關注，這兩項技術對我們的生活、城市和世界都產生了積極的影響。IoT和深度學習構成了一個數據生產者-消費者鏈，其中IoT生成由深度學習模型分析的原始數據，深度學習模型產生高層次的分析，反饋給IoT系統，以微調和改進服務。