5分鐘瞭解受限玻爾茲曼機(RBM)

聲明：譯自A Beginner’s Guide to Restricted Boltzmann Machines (RBMs)

Definition & Structure

受限玻爾茲曼機(RBM)由深度學習先驅Geoffrey Hinton提出，可用於降維、分類、迴歸、協同過濾、特徵提取和主題建模(topic modeling)。

RBM是一個淺層網絡，包括輸入層(input layer/visible layer)和隱藏層(hidden layer)。它的前向傳遞與常見的人工神經網絡一致。

activation f((weight w * input x) + bias b ) = output a

前向傳遞中，輸入爲$x$，輸出爲$a$，權重爲$w$，偏執爲$b$。

Reconstruction

RBM是一種無監督學習方法，其反向傳遞繼續使用當前的$(w,b)$進行線性計算。

反向傳遞中，輸入爲$a$，輸出爲$r$，權重爲$w$，偏執爲$b$。此時的輸出$r$可以看做是重構輸入(reconstructions)，$r$與$x$的差值作爲誤差。在模型訓練開始時，$(w,b)$是隨機初始化的，所以誤差較大，隨着訓練次數的增多，誤差慢慢減小。

RBM是一種生成學習方法，即學習輸入數據的概率模型。可以把$x$和$r$都看做概率曲線$p(x)$和$q(x)$，RBM的目標就是是這兩條概率曲線重合。KL散度(Kullback Leibler Divergence)被用來描述兩個概率分佈的一致性，KL散度$D_{KL}(P\|Q)$越小，兩個分佈越相似。

爲了讓兩個分佈相似，RBM需要不斷的調整參數$(w,b)$使$q(x)$如上圖所示進行移動。