自聯想神經網絡
自聯想神經網絡(Auto-Associative Neural Network , 縮寫爲AANN)是1987年Ballard提出的，其網絡原型是一種具有對稱拓撲結構的五層前饋傳遞網絡，AANN 應用到數據檢驗問題時具有比較明顯的物理意義。是BP神經網絡的一種特殊情形。其特點是有對稱拓撲結構，即輸出量等於輸入量。
深度信念網絡
深度信念網絡 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一種生成模型，通過訓練其神經元間的權重，我們可以讓整個神經網絡按照最大概率來生成訓練數據。我們不僅可以使用 DBN 識別特徵、分類數據，還可以用它來生成數據。
DBN 在訓練模型的過程中主要分爲兩步:
第 1 步：分別單獨無監督地訓練每一層 RBM 網絡,確保特徵向量映射到不同特徵空間時,都儘可能多地保留特徵信息;
第 2 步：在 DBN 的最後一層設置 BP 網絡,接收 RBM 的輸出特徵向量作爲它的輸入特徵向量,有監督地訓練實體關係分類器.而且每一層 RBM 網絡只能確保自身層內的 權值對該層特徵向量映射達到最優,並不是對整個 DBN 的特徵向量映射達到最優,所以反向傳播網絡還將錯誤信息自頂向下傳播至每一層 RBM,微調整個 DBN 網絡.RBM 網絡訓練模型的過程可以看作對一個深層 BP 網絡權值參數的初始化,使DBN 克服了 BP 網絡因隨機初始化權值參數而容易陷入局部最優和訓練時間長的缺點.
上述訓練模型中第一步在深度學習的術語叫做預訓練，第二步叫做微調。最上面有監督學習的那一層，根據具體的應用領域可以換成任何分類器模型，而不必是BP網絡。
幾篇比較好的參考文獻
https://blog.csdn.net/firemicrocosm/article/details/46820517