人工智能理論基礎學習（一）

人工智能理論基礎學習（一）

目錄：

1. 人工智能的三大學派
2. 人工神經網絡和符號邏輯的區別
3. 羣體智能算法與進化計算算法的區別與聯繫
4. 機器學習的定義
5. 機器學習的五大學派
6. 機器學習的應用領域
7. 機器學習的分類
8. 強化學習和監督學習的區別
9. 淺層結構算法和深度學習算法區別
10. 深度學習網絡深度越深越好嗎

1、人工智能的三大學派：

（1）符號主義學派：基於數理邏輯，認爲人類思維的過程可以用符號操作來描述，在給定由公理和規則組成的集合後，所有智能行爲都能歸結爲對特定命題的判定問題。

• 精確邏輯：採用數理邏輯方法，對於命題可以用精確的規則進行劃分。
  • 典型應用：專家系統，專家系統分爲兩個子系統：
    • 知識庫：存儲結構化信息。
    • 推理引擎：自動推理系統，用於評估知識庫的當前狀態，並應用相關規則進行邏輯推理，然後將新結論添加到知識庫中。
    • 缺點：
      • 需要人爲定義和補充規則，決定了專家系統的智能水平不會高於人類，無法解決複雜問題；
      • 基於邏輯推理，無法解決非邏輯性問題。
• 模糊邏輯：元素可以屬於多個不同的集合，元素和不同集合的關聯性強弱由隸屬度決定。
  • 模糊控制系統：
    • 模糊化：利用隸屬函數完成輸入變量的模糊化，得到模糊變量。
    • 模糊推理：通過規則器對輸入進行推理，得到模糊控制變量。
    • 逆模糊：利用隸屬函數去模糊化處理爲精確的控制變量。
  • 一些定義：
    • 隸屬度：用於表示不確定性的強弱，在概率隨機性基礎上加入了信息的意義和定性，是一種比隨機性更加深刻的不確定性質。如35歲的人屬於年輕人和中年人集合的隸屬度可能爲0.6和0.4。

（2）聯結主義學派：基於神經網絡，認爲人類大腦的思維體系具有複雜的並行結構，從神經元開始，進而研究神經網絡模型和腦模型。

• 感知器（出現於20世紀60至70年代）：解決線性分類問題。
  • M-P模型（閾值加權和模型）：
    • 一個神經元接受的信號可以是起刺激作用的，也可以是起抑制作用的，其累積效果決定該神經元的狀態，同時神經元的突觸信號的輸出是“全或無”的，即僅當神經元接受的信號強度超過某個閾值時，纔會由突觸進行信號輸出。
  • 學習算法：感知器學習算法
    • 原理：輸入連接的所有輸出信號值和存儲在處理單元局部內存中的參數值相互作用後得到求和累計值，輸出通過激活函數進行處理。
    • 學習過程：調整其中存儲的參數值的過程。
    • 分類：
      • 無監督學習：學習過程中，數據中輸入樣本的信息，但不知道輸入與輸出之間的關係，感知器通過學習抽取輸入樣本的特徵或同級規律。如Hebb算法（赫布）。
      • 監督學習：學習過程中，數據是成對出現的，除了感知器的輸入外，與輸入對應的輸出是已知的。通過逐步將集中的樣本輸入到網絡中，根據輸出結果和理想輸出之間的差別來調整和學習感知器中存儲的參數，從而使感知器的輸出逐漸接近理想輸出。如Delta法則（德爾塔，梯度下降）。
  • 計算平臺：晶體管。
  • 應用：幾乎沒有，因爲需要收集大量的專門知識並定義龐雜的推理方案，成本高。
• 人工神經網絡（出現於20世紀80-90年代）：對生物神經網絡的模仿，無法解決抑或問題。
  • 結構：
    • 輸入層：接收來自網絡外部的信號輸入。
    • 隱藏層：對輸入信號進行變換和學習，是人工神經網絡強大學習和表達能力的來源。
    • 輸出層：輸出網絡的計算結果。
  • 特點：
    • 信息是分佈式存儲和表示的。每個人工神經元中保存的參數值稱爲神經網絡的長時記憶。人工神經網絡的學習過程，就是調整每個人工神經元中保存的參數值的過程。
    • 全局並行 + 局部操作。每個神經元的輸入-輸出映射具有局部性，全局並行使得可以高速並行地處理大量數據。
  • 學習算法：反向傳播算法
    • 反向傳播算法兩個過程（反覆執行這兩個過程，直到一定的迭代次數或者損失函數不再下降爲止）：
      • 前向傳播：
        • 從輸入層經隱藏層逐層處理後，傳至輸出層。
        • 通常網絡輸出與理想輸出存在誤差，用損失函數L(O,L)來計算實際輸出和理想輸出之間的誤差，網絡的訓練目標是最小化損失函數。
      • 反向傳播：
        • 利用損失函數計算輸出層和理想輸出之間的誤差，並利用此誤差計算輸出層的直接前導層的誤差，再用輸出層前導層誤差估計更前一層的誤差。如此重複獲得所有其他各層的誤差估計。
        • 通過最小化每層的誤差（梯度下降法）來修改每層的參數值，從而達到學習的目的。
  • 計算平臺：圖形處理器。
  • 應用：語音識別、圖像識別、自動駕駛等。
• 深度學習（21世紀初-至今）：複雜函數
  • 特點：
    • 相比傳統人工神經網絡最大的特點是網絡層數更多，利用了卷積神經網絡和循環神經網絡等更爲複雜的結構，參數量成倍增長，使模型的表示和學習能力進一步提升。
  • 學習算法：預訓練 + 微調
    • 通過一個“預訓練”的過程對神經網絡進行逐層學習，再通過反向傳播算法對整個網絡進行“微調”。
  • 計算平臺：分佈圖形處理器平臺。
  • 應用：如圖像、語音、自然語言處理等幾乎所有人工智能領域。

（3）行爲主義學派：基於進化論，認爲必須賦予機器自主感知和行動的能力，將重點放在語言、行爲等外部信號的建模上。

• 進化計算算法：模擬生物種羣在進化過程中的自然選擇和自然遺傳機制。
  • 遺傳算法：模擬生物在自然環境中的遺傳和進化過程而形成的一種自適應全局優化概率搜索算法，按照與個體適應度成正比的概率決定當前羣體中每個個體遺傳到下一代羣體中的機會。
    • 三種遺傳算子：
      • 選擇算子：根據各個個體的適應度，按照一定的概率規則，從當前羣體中選擇出一些優良的個體遺傳到下一代羣體中。
      • 交叉算子：將羣體內的各個個體隨機搭配成對，對每一個個體，根據交叉概率交換它們之間的部分染色體。
      • 變異算子：對羣體中的各個個體，以變異概率改變染色體上的基因值爲其他的等位基因。
    • 遺傳算法對羣體反覆執行選擇、交叉、變異步驟，直到搜索羣體找到目標函數的最優值或者滿足收斂條件
    • 特點：
      • 自適應概率搜索技術，增加搜索過程的隨機性和靈活性。
      • 解空間的多點搜索，可並行處理，提高性能。
      • 以目標函數值作爲搜索信息，不需要目標函數的導數等其他信息。
    • 一些定義：
      • 適應度函數：對問題中每個個體都能進行度量的函數。
      • 染色體：遺傳算法使用固定長度的二進制符號串來表示羣體中的個體。
• 羣體智能算法：對生物羣體在協作和交互過程中涌現出的複雜智能行爲進行建模。
  • 定義：指一羣功能簡單的、具有信息處理能力、自組織能力的個體通過通信、交互、協作等手段所涌現出簡單個體所不具備的複雜問題求解能力。
  • 特徵：
    • 個體同質，沒有中心控制節點，適用於並行計算模型；
    • 種羣具有可擴展性，種羣內個體數目可變；
    • 種羣內部具有協作性，個體之間存在相互協作機制；
    • 種羣具有臨近性，個體之間交互機制的作用範圍有限；
    • 種羣具有自適應性，能夠根據環境變化自動調整；
    • 種羣具有穩定性，某些個體故障不會影響到系統的正常工作。
  • 常見算法：
    • 蟻羣算法：基於蟻羣覓食行爲的建模。
      • 特點：
        • 種羣多樣性：以隨機概率選擇路徑。
        • 信息素更新的正反饋機制：某條路徑更短，則往返時間越短，路徑上信息素被更新的頻率更高，路徑上的信息素濃度更高。
      • 應用場景：組合優化問題，如任務調度問題、圖着色問題、旅行商問題。
    • 粒子羣算法：基於鳥羣覓食行爲的建模。
      • 可行解（鳥類）朝全局最優解（食物）移動和收斂的過程。
      • 一些定義：
        • 個體學習能力：個體記憶自身歷史信息的能力
        • 社會認知能力：感知臨近個體飛行狀態的能力
      • 應用場景：對連續空間的優化問題求解。

2、人工神經網絡和符號邏輯的區別：

• 實現方式：
  • 人工神經網絡：並行處理；對樣本數據進行多目標學習；通過人工神經元之間的相互作用實現控制。
  • 符號邏輯：串行處理；由程序實現控制。
• 開發方法：
  • 人工神經網絡：定義人工神經元的結構原型，通過樣本數據，依據基本的學習算法完成學習，自動從樣本數據中抽取內涵，自動適應環境。
  • 符號邏輯：設計規則、框架、程序；用樣本數據進行調試，是人根據已知的環境去構造一個模型。
• 適應領域：
  • 人工神經網絡：非精確計算；模擬處理；大規模數據並行處理。
  • 符號邏輯：精確計算；符號處理；數值計算。
• 模擬對象：
  • 人工神經網絡：右腦（形象思維，利用感受、情感、主觀認識等，進行感性認識）。
  • 符號邏輯：左腦（邏輯思維/抽象思維，利用概念、判斷、推理，進行理性認識）。

3、羣體智能算法與進化計算算法的區別與聯繫：

• 相同點：
  • 維護一個種羣進行啓發式計算。
• 不同點：
  • 研究對象不同。羣體智能算法主要是對羣體中由於交互機制的存在使得羣體涌現出個體不具有的問題求解能力這一過程進行建模。進化計算算法主要是基於達爾文定律對生物進化過程的模擬。
  • 關注點不同。羣體智能算法側重於羣體中個體的協作。進化計算算法關注於羣體中個體間的競爭，以獲得勝出。

4、機器學習的定義：

• 系統通過獲取經驗提高自身性能的過程，即系統自我改進過程。機器學習是人工智能的核心研究領域之一。
• 機器學習研究的是如何使計算機能夠模擬或實現人類的學習功能，從大量數據中發現規律、提取知識，並在實踐中不斷完善和增強自我。
• 機器學習的過程就是一個對包含可能假設的空間進行搜索的過程，使得到的假設在滿足先驗知識和其他約束的前提下，與給定訓練樣本是最吻合的。
• 機器學習就是一類能夠讓計算機從大量已知的以特徵向量表示的訓練樣本中，學習到一個泛化能力強的分類器的方法。
  • 分類器好壞的衡量標準：損失函數
    • 分類問題中，損失函數定義爲機器學習得到的分類器對樣本的分類結果和樣本真實類別的差異。
    • 迴歸問題中，損失函數定義爲學習得到的分佈與樣本的真實分佈之間的差別。
  • 目標：最小化損失函數。
    • 優化方法：
      • 啓發式的方法：
        • 遺傳算法
        • 粒子羣算法
      • 基於梯度方向的算法：
        • 批量梯度下降法
        • 隨機梯度下降法
        • 小批量梯度下降法
  • 一些定義：
    • 梯度：是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（爲該梯度的模）。
    • 過擬合問題：簡單的最小化損失函數在訓練樣本上的值，容易造成分類器對沒有見過的樣本的分類正確率降低，即分類器的泛化能力不夠。
    • 懲罰項：在損失函數裏添加的一個衡量分類器複雜度的標準。
      • 懲罰項通常由分類器參數的各種形式表徵，當分類器形式太複雜時，使得損失函數的值也會比較大。
      • 作用：使得降低分類器錯誤率的同時，也能將分類器的形式限制得比較簡單，保證它的泛化能力。

5、機器學習的五大學派：

• 符號主義學派：
  • 物理符號系統假設和有限合理性原理
  • 主要代表：逆演繹算法
• 聯結主義學派：
  • 神經網絡以及神經網絡間的聯結機制與學習算法
  • 主要代表：反向傳播算法
• 進化主義學派：
  • 生物的進化機制和進化生物學
  • 主要代表：基因編程
• 貝葉斯學派：
  • 以統計學相關理論爲基礎
  • 主要代表：概率推理和概率分佈學習
• 行爲類比主義學派：
  • 從心理學的角度來研究機器的學習能力
  • 主要代表：基於核理論的相關算法，如支撐向量機算法

6、機器學習的應用領域：

• 數據挖掘問題：利用人工智能、機器學習、統計學和數據庫的交叉方法，在相對較大型的數據中挖掘出有價值的規則的計算模式。
  • 如沃爾瑪超市的啤酒與尿布的故事、醫療專家系統等
• 模式識別問題：利用計算機對物理對象進行分類，在錯誤概率最小的條件下，使識別結果儘量與客觀物體相符。
  • 如海量圖形中精準識別某個人臉
• 精準推送問題：計算機程序自適應地應對所處環境的變化。
  • 如廣告推送，能夠根據每一個人的瀏覽記錄和行爲習慣，準確推送符合這個人需求的廣告。

7、機器學習的分類：

（1）按照訓練樣本的具體情況分類：

• 監督學習：用來訓練分類器的訓練樣本由樣本的特徵向量和類別標號構成。
  • 常見監督學習算法：
    • 迴歸分析和統計分類
      • 線性迴歸
      • 決策樹
      • 神經網絡
• 無監督學習：訓練樣本只有特徵向量，而不包括每個向量對應的類別。
  • 常見無監督學習算法：
    • 聚類分析
      • k-均值聚類
      • 模糊k-均值聚類
• 半監督學習：介於監督學習和無監督學習之間，指在大量無類別標籤的樣本的幫助下，訓練少量已有類別標籤的樣本，獲得比僅僅利用這些很少的標註樣本訓練得到的分類器的分類能力更強的分類器，以彌補有類別標籤的樣本不足的缺點。
• 強化學習：在某個環境中，存在各種不同的狀態，機器可以採取幾種不同的動作使得自己在幾種不同狀態之間以一定的概率切換，不同的狀態對應不同的結果，這個結果用回報來衡量，通過強化學習找到策略，使得機器在面對不同的狀態時採取合適的動作，使得獲得的回報最大。

（2）按照算法的功能分類：

• 迴歸算法（預測連續目標變量）：通過最小化預測值與真實值之間差距，而擬合出輸入特徵之間的最佳組合的一類算法（用一條線來擬合一些離散的點）
  • 線性迴歸：利用最小二乘法建模因變量和一個或多個解釋變量（或稱爲獨立變量）之間對應關係的一種迴歸分析
    • 學習方法：最小化基於預測值與真實值的均方誤差所構成的損失函數
    • 最小二乘法（又稱最小平方法）：是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。
    • 應用場景：
      • 通過擬合函數根據自變量預測出一個因變量值
      • 用來量化因變量與自變量之間相關性的強度，評估出某些與自變量不相關的因變量
  • 非線性迴歸：
    • 學習方法：最小化基於預測值與真實值的均方誤差所構成的損失函數
    • 非線性的，模型可以是如對數、指數、高次方程等等
• 分類算法（預測離散目標變量）：通過訓練樣本學習到每個類別的樣本特徵，利用這些特徵構建分類線或分類面，將各種不同的樣本分隔開，並且最小化錯分樣本數量的一類算法。
  • 貝葉斯分類算法（監督）：基於貝葉斯公式，逆概問題
    • 利用現有的信息，計算出某些相關事件的先驗概率，然後利用貝葉斯公式根據已有的經驗計算得到需要的後驗概率。
  • 決策樹算法（監督）：某項活動開展與否，取決於一系列前提條件，並且我們已經有了在這些條件下活動是否進行的訓練數據，我們可以根據這些數據，按照是否滿足某個特定的條件，逐步縮小活動是否開展所要考慮的條件範圍，最終給出是否開展活動的確定性答案。
    • 決策樹是一個預測模型，代表的是對象屬性和對象值之間的一種映射關係
    • 每個結點表示某個對象，每個分叉路徑代表某個可能的屬性值，每個葉節點對應從根節點到該葉節點所經歷的路徑所表示的對象的值
    • 決策樹構建過程是一個自頂向下的貪心遞歸過程。
    • 缺陷：
      • 容易陷入過擬合，解決方法：預剪枝以及剪掉樹中那些樣本數非常少的結點，去除特例樣本帶來的冗餘信息
  • 支持向量機（SVM，Support Vector Machine）（監督）：不僅考慮將訓練樣本正確區分開，而且考慮分類線(面)的位置，使得它能將各類樣本儘可能分隔得足夠遠
    • 可以解決線性不可分問題，通過核函數映射，使得在低維空間表示不可分的樣本，通過投影到更高維的空間就可以變成線性可分的了。
    • 一些定義：
      • 核函數：核函數就是低維空間中的內積的某個函數，通過核函數可以計算出高維空間中兩個數據點之間的距離和角度
  • 近鄰算法（監督）：
    • k-近鄰算法：基於實例的學習算法
      • 算法在對未知樣本進行分類時，需要先計算它與所有一致類別標籤的樣本的歐式距離，然後找出與它距離最近的k個樣本，這k個樣本中哪個類別樣本數最多，就將這個未知的樣本分類爲對應的類別
      • k通常取不能被類別整除的值
  • 聚類算法（無監督）：基於距離的聚類算法（迭代求解）
    • 預將數據分爲K組，則隨機選取K個對象作爲初始的類別中心，然後計算每個對象與類別中心之間的距離，把每個對象分配給距離它最近的類別中心。類別中心以及分配給它們的對象就代表一個聚類。每分配一個樣本，聚類的類別中心點會根據聚類中現有的對象被重新計算。這個過程將不斷重複直到滿足某個終止條件。終止條件可以是沒有（或最小數目）對象被重新分配給不同的聚類，沒有（或最小數目）聚類中心再發生變化，誤差平方和局部最小。
• 深度學習算法（深度神經網絡）：相比人工神經網絡，其拓撲結構上節點層數比較多。
  • 定義：
    • 一種多層描述的表示學習，通過組合簡單、非線性模塊來實現，每個模塊都會將最簡單的描述（從原始輸入開始）轉變爲較高層、較爲抽象的描述。
    • 深度學習善於在高維度的數據中摸索出錯綜複雜的結構
  • 舉例子：圖片識別：
    • 第一特徵層：機器學到的特徵主要是圖像中特定方位、位置邊緣的信息
    • 第二特徵層：機器通過發現特定邊緣的組合來檢測圖案，此時機器並不考慮邊緣位置的微小變化
    • 第三特徵層：機器將局部圖像與物體相應部分匹配
    • 後續層級：將局部組合起來從而識別出整個物體
    • 局部輪廓邊緣組合形成基本圖案，基本圖案形成物體的局部，局部物體再組成物體。
  • 常用網絡結構：
    • 卷積神經網絡（CNN，Convolutional Neural Networks）（監督）：
      • 一些定義：
        • 離線的卷積計算：由一個特徵圖執行的過濾操作
        • 通道：一個通道是對某個特徵的檢測，通道中某一處數值的強弱就是對當前特徵強弱的反應。
      • 卷積層：通道與通道之間進行交互，探測前一層中特徵之間的局部連接，之後在下一層生成新的通道
        • 一個卷積層單元通過一組濾波器權值連接到前一層的特徵圖的局部數據塊；接下來，得到的局部加權和會傳遞至一個非線性函數進行變換計算激勵值
      • 池化層：對語義相似的特徵進行合併。
        • 一個池化層單元通常會計算一個或幾個特徵圖中一個局部塊的最大值，相鄰的池化單元則會移動一列或一行從小塊讀取輸入
      • 常見應用：
        • 人臉識別
        • 語音識別
        • 文本識別
        • 生物信息分割
    • 循環神經網絡（RNN，Recurrent Neural Network，也稱爲遞歸神經網絡）：通常用於需要序列連續輸入的任務，如語音和語言
      • 循環神經網絡一次處理一個輸入序列元素，同時維護的隱藏層單元中隱含着該序列過去所有元素的歷史信息。
        • 編碼器：一種在最後隱藏層將像素轉換爲活動向量的深度卷積網絡
        • 解碼器：一種類似機器翻譯和神經網絡語言模型的循環神經網絡
      • 特殊隱藏層單元的長短期記憶網絡：能夠長期保存輸入信息
      • 一些定義：
        • 隱藏層：把輸入數據的特徵，抽象到另一個維度空間，來展現其更抽象化的特徵，這些特徵能更好的進行線性劃分。
    • 對抗神經網絡（GAN，Generative Adversarial Networks ）：由判別模型和生成模型組成，可以利用對抗過程估計生成模型。
      • 一個網絡生成模擬數據，另一個網絡判斷生成的數據是真實的還是模擬的。生成模擬數據的網絡要不斷優化自己讓判別的網絡判斷不出來，判別的網絡也要不斷優化自己讓判斷更加精確。兩者的關係形成對抗，因此叫對抗神經網絡。
    • 自編碼機（Auto Encoder）（無監督）：基於多層神經元，主要用於數據的降維或者特徵的抽取。
    • 玻爾茲曼機：受統計力學啓發的多層學習機，它是一類典型的隨機神經網絡，屬於反饋神經網絡類型 。
      • 離散Hopfield神經網絡+模擬退火+隱單元=Boltzman機
• 強化學習（深度增強學習）：一種試錯的學習方式，解決決策制定問題，學會根據自身所處環境自動做出相應決策
  • 定義：一個序列決策制定問題，它需要連續選擇一些動作，從而使得機器在執行這些動作之後獲得最大的收益、最好的結果。
  • 四個主要元素：
    • 環境狀態集合S
    • 動作集合A
    • 狀態之間的轉換規則P
    • 特定動作導致的狀態轉移之後帶來的回報R
  • 學習過程：
    • 探索：放棄一些已知的回報信息，而去嘗試一些新的選擇。
    • 利用：根據已知的信息使回報最大化，充分利用現有的對於環境的認識。
• 演化學習：一個受益於自然演化的大型啓發式隨機優化算法
  • 演化算法在模擬自然演化的過程過主要考慮了兩個關鍵因素：
    • 變分再生產：從當前的解集中通過某種方法產生新的解集。
    • 優選：不斷的通過優勝劣汰的策略去剔除當前表現不達標的解集。
  • 常見演化算法：
    • 遺傳算法（GA）
    • 遺傳規劃（GP）
    • 演化策略（ES）

8、強化學習和監督學習的區別：

• 有無類標。
  • 監督學習中訓練樣本對應着類標，這個類標告訴算法什麼樣的輸入應該對應着什麼樣的輸出；
  • 強化學習沒有類標，只有一個做出一系列動作後最終反饋回來的回報信號，這個信號能夠判斷當前選擇的行爲是好是壞。
• 反饋時間不同。
  • 監督學習做了比較壞的選擇後立刻反饋給算法；
  • 強化學習的結果反饋有延時，有時候可能需要走了很多步後才知道以前的某一步的選擇是好還是壞。
• 輸入不同。
  • 監督學習的輸入是獨立同分布的；
  • 強化學習的輸入總在變化，每當算法做出一個行爲，它就會影響下一次決策的輸入。

9、淺層結構算法和深度學習算法區別：

• 分類、迴歸等淺層結構算法侷限性在於：
  • 有限樣本和計算單元情況下，對複雜函數的表示能力有限。
  • 針對複雜分類問題其泛化能力受到一定製約。
• 深度學習：
  • 學習一種深層非線性網絡結構，實現複雜函數逼近，表徵輸入數據分佈式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。

10、深度學習網絡深度越深越好嗎

• 優點：
  • 更好的擬合特徵。深度學習網絡結構的主要模塊是卷積，池化，激活，這是一個標準的非線性變換模塊。更深的模型，意味着更好的非線性表達能力，可以學習更加複雜的變換，從而可以擬合更加複雜的特徵輸入。
  • 逐層的特徵學習。網絡更深，每一層要做的事情也更加簡單了，可以進行逐層的特徵學習。
• 缺點：
  • 梯度不穩定。深層網絡帶來的梯度不穩定，網絡退化的問題始終都是存在的，可以緩解，沒法消除。這就有可能出現網絡加深，性能反而開始下降。
  • 訓練算法能力不足。理論上來說網絡越深表達能力越強，能處理的訓練數據也更多，但是訓練算法未必支持。
  • 影響淺層學習能力。可能導致某些淺層的學習能力下降，限制了深層的學習。

參考文獻：

[1]譚營. 人工智能知識講座. [M]北京：人民出版社，2018.04；
[2]孫志軍、薛磊、許陽明、王正. 深度學習研究綜述. 期刊文獻：計算機應用研究，2012年8月；