對於一個新手來說，深度學習術語可能非常難以理解。本表試圖解釋深度學習常用術語並鏈接到原始參考，以幫助讀者深入瞭解特定主題。
深度學習與“一般”的機器學習術語之間的界限非常模糊。例如，我這裏不包括“交叉驗證”，因爲它是一種通用技術，用於整個機器學習。但是，我加入了softmax或word2vec等術語，因爲它們通常與深度學習相關，即使它們不是深度學習技術。
爲了讓神經網絡學習複雜的決策邊界，我們將非線性激活函數應用於其某些層。常用的函數包括sigmoid、tanh、ReLU（整流線性單元）及它們的變體。
Adadelta是一種基於梯度下降的學習算法，可以隨時間調整每個參數的學習速率。它被認爲是對Adagrad的改進，因爲Adagrad對超參數很敏感，並且可能過於快速的降低學習速度。Adadelta類似於rmsprop，可以用來代替樸素SGD。
相關資源：
3、梯度下降優化算法概述；
Adagrad是一種自適應學習速率算法，它可以跟隨時間變化，並自動調整每個參數的學習速率。它可以代替vanilla SGD使用，並且對稀疏數據特別有用，它可以爲不經常更新的參數分配更高的學習率。
相關資源：
3、梯度下降優化算法概述；
Adam是一種類似於rmsprop的自適應學習速率算法，但是使用梯度的第一和第二時刻的運行平均值直接估計更新，並且還包括偏差校正項。
一種神經網絡中的完全連接層。仿射意味着前一層中的每個神經元都連接到當前層中的每個神經元。在許多情況下，這是神經網絡的“標準”層。在進行最終預測之前，通常會在卷積神經網絡或遞歸神經網絡的輸出之上添加仿射層。仿射層通常形式的y=f(Wx+b)，其中x是該層的輸入，W參數，b偏置向量，f是非線性激活函數。
注意力機制受到人類視覺注意力機制的啓發，即關注圖像特定部分的能力。注意力機制可以應用在語言處理和圖像識別架構中，以幫助網絡瞭解在進行預測時“關注”的內容。
Alexnet是一種卷積神經網絡架構的名稱，它以絕對的優勢贏得了ILSVRC 2012競賽。它由五個卷積層組成，其中一些後面是最大池層，三個是完全連接的層，最後是1000-way softmax。Alexnet在深度卷積神經網絡的ImageNet分類中被引入。
自動編碼器是一種神經網絡模型，其目標是預測輸入本身，通常是通過網絡中某處的“瓶頸”。通過引入瓶頸，我們可以強制網絡輸入的低維表示，這樣能有效地將輸入壓縮爲更好的表示。自動編碼器與PCA和其他降維技術差不多，但由於其非線性的特性，它可以學習更復雜的映射。而且存在很多種自動編碼器架構，包括去噪自動編碼器、變分自動編碼器或序列自動編碼器。
Average-Pooling是用於圖像識別的卷積神經網絡的彙集技術。它的工作原理是在一系列特徵（例如像素）上滑動窗口，並獲取窗口內所有值的平均值。它可以將輸入壓縮爲較低維表示。
反向傳播是一種有效計算神經網絡中梯度的算法，更一般地說，是一種前饋計算圖。可以把它歸結爲從網絡輸出開始應用差異化的鏈規則並向後傳播梯度，反向傳播的第一次使用可以追溯到1960年代的Vapnik。
Backpropagation Through Time（paper）是應用於遞歸神經網絡（RNN）的反向傳播算法。BPTT可被視爲應用於RNN的標準反向傳播算法，其中每個時間步長代表一個層，並且參數在各層之間共享。由於RNN在所有時間步驟中共享相同的參數，因此必須將“一段時間”的錯誤“通過時間”反向傳播到所有先前的時間步驟，因此名稱。當處理長序列時，經常使用Truncated-BPTT來降低計算成本。Truncated-BPTT在固定步數後停止反向傳播錯誤。
批量標準化是一種對每個小批量的層輸入進行標準化的技術。它加快了訓練的速度，允許使用更高的學習率。目前已經發現批量標準化對卷積和前饋神經網絡非常有效，但尚未成功應用於遞歸神經網絡。
2、批量標準化遞歸神經網絡；
雙向RNN是一種神經網絡，包含兩個進入不同方向的RNN。前向RNN從開始到結束讀取輸入序列，而後向RNN從結束到開始讀取輸入序列。兩個RNN堆疊在彼此之上，並且通常通過附加兩個向量來組合它們的狀態。雙向RNN通常用於自然語言問題，因爲希望在進行預測之前考慮單詞之前和之後的上下文。
1、雙向遞歸神經網絡;
Caffe是伯克利視覺和學習中心開發的深度學習框架，Caffe在視覺任務和CNN模型中特別受歡迎。
分類交叉熵損失（Categorical Cross-Entropy Loss）
分類交叉熵損失也稱爲負對數似然，它是分類問題中流行損失函數，它可以測量兩個概率分佈之間的相似性，通常是真實標籤和預測標籤。它由真實標籤的概率分佈L =-sum(y * log(y_prediction))在何處給出，y_prediction是預測標籤的概率分佈，通常來自softmax。
向Deep Learning模型輸入數據可以有多個通道。一般的圖像是具有紅色、綠色和藍色通道。圖像可以表示爲三維張量，其尺寸對應於通道、高度和寬度。自然語言數據也可以具有多個通道，例如以不同類型的嵌入的形式。
CNN使用卷積來連接輸入的局部區域的提取特徵。大多數CNN都包含卷積，彙集和仿射層。CNN已經越來越受歡迎，特別是他們在視覺識別任務方面的出色表現。
2、NLP中使用卷積神經網絡；
DBN是一種概率圖形模型，其以無監督的方式學習數據的分層表示。DBN由多個隱藏層組成，每個連續的層中的神經元之間具有連接。DBN是通過將多個RBN堆疊在一起並逐個訓練來構建的。
Google發明的一種技術，旨在提煉深層卷積神經網絡捕獲的知識。該技術可以生成新圖像或者轉換現有圖像並賦予它們夢幻般的風格。
Dropout是神經網絡的正則化技術，可防止過度擬合。它通過在每次訓練迭代中將它們的一部分隨機設置爲0來防止神經元過度適應。可以以各種方式解釋丟失，例如從指數數量的不同網絡中隨機採樣。Dropout層首先通過在CNN中的使用而獲得普及，但此後已應用於其他層。
嵌入是將輸入（例如單詞或句子）映射到向量中。有一種流行的嵌入類型是word嵌入，例如word2vec或GloVe。它們可以嵌入句子，段落或圖像。例如，通過將圖像及其文本描述映射到公共嵌入空間並最小化它們之間的距離，我們可以將標籤與圖像匹配。嵌入可以明確地學習，例如在word2vec中，也作爲監督任務的一部分，例如情感分析。通常，網絡的輸入層用預先訓練的嵌入進行初始化，然後將其微調到手頭的任務。
梯度爆炸問題正好與消失梯度問題相反。在深度神經網絡中，梯度可能在反向傳播期間爆炸，導致數量溢出。處理梯度爆炸的常用技術是執行梯度裁剪。
1、訓練遞歸神經網絡的難點；
微調是指使用來自其他任務（例如無人監督的訓練任務）的參數初始化網絡，然後根據手頭的任務更新這些參數的技術。例如，NLP架構通常使用像word2vec這樣的預訓練詞嵌入模型，然後在訓練期間根據諸如情感分析之類的特定任務更新這些詞嵌入模型。
梯度裁剪是一種防止在非常深的網絡中爆炸梯度的技術。執行梯度裁剪有很多方式，但常見的是當參數矢量的L2範數超過某個閾值時歸一化參數矢量的梯度new_gradients=gradients * threshold/l2_norm(gradients)。
GloVe是一種用於獲得單詞的矢量表示（嵌入）的無監督學習算法。GloVe向量與word2vec具有相同的目的，但由於受到共現統計的訓練，因此具有不同的向量表示。
它是贏得ILSVRC 2014挑戰的卷積神經網絡架構。網絡使用Inception模塊來減少參數並提高網絡內計算資源的利用率。
門控循環單元是LSTM單元的簡化版本，參數較少。就像LSTM單元一樣，它使用門控機制防止RNN通過出現梯度消失的問題。GRU由一個復位門和更新門組成，用於確定舊存儲器的哪一部分與當前時間步的新值保持一致。
1、使用RNN編碼器-解碼器學習短語表示以進行統計機器翻譯；
2、循環神經網絡教程-使用Python和Theano實現GRU/LSTM RNN；
初始模塊用於卷積神經網絡，通過堆疊1×1卷積降低維數，實現更高效的計算和更深入的網絡。
Kears是一個基於Python的深度學習庫，包含許多用於深度神經網絡的高級構建塊。它可以在TensorFlow、Theano或CNTK之上運行。
長短期記憶網絡是爲了通過使用記憶門控機制來防止遞歸神經網絡中的消失梯度問題。使用LSTM單元計算RNN中的隱藏狀態，幫助網絡有效地傳播梯度並學習遠程依賴性。
1、長短期記憶網絡；
2、瞭解LSTM網絡；
3、循環神經網絡教程-使用Python和Theano實現GRU/LSTM RNN；
池操作通常在卷積神經網絡中使用。最大池層會選擇特徵塊中的最大值，就像卷積層一樣，池化層通過窗口大小和步幅大小進行參數化。例如，我們可以使用步幅大小2在10×10特徵矩陣上滑動尺寸爲2×2的窗口，在每個窗口內的所有4個值中選擇最大值，從而產生新的5×5特徵矩陣。合併圖層有助於通過僅保留最顯着的信息來減少表徵的維度，並且在圖像輸入的情況下，它們提供轉換的基本不變性（即使圖像移動了幾個像素，也將選擇相同的最大值）。通常在連續的卷積層之間會插入池化層。
該MNIST數據集是最常用的圖像識別數據集。它包括60,000個訓練和10,000個手寫數字測試示例。每個圖像大28×28像素，現有技術模型通常在測試裝置上達到99.5％或更高的精度。
未完待續····
本文由阿里云云棲社區組織翻譯。
文章原標題《deep-learning-glossary》
作者：wildml 譯者：虎說八道，審校：。
文章爲簡譯，更爲詳細的內容，請查看原文。