推薦系統-矩陣分解

推薦系統學習-矩陣分解算法

基本思想

推薦系統裏面需要用到MF算法，也就是把一個矩陣(user_num x item_num)分解爲兩個矩陣(user_num x trait_num) , (trait_num x item_num) 的乘積。這個過程很好理解，就是從評分矩陣中提取出來物品的特徵，分解出來的兩個矩陣分別表明用戶對該特徵的偏好程度和物品對該特徵的包含程度。比如

U=[132231],V=⎡⎣⎢101⎤⎦⎥$$U=\left[\begin{array}{ccc}1& 2& 3\\ 3& 2& 1\end{array}\right],V=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]$$

其中，三個特徵分別表示喜劇、恐怖、劇情，所以 U 矩陣的第一行就表示用戶1對喜劇愛好程度是1，恐怖愛好程度是2，劇情愛好程度是3，以此類推。而 V 的第一列就表示電影1包含了1的喜劇成分，0的恐怖成分，1的劇情成分。所以顯然就有用戶1對電影的評分是 1×1+2×0+3×1=4$1\times 1+2\times 0+3\times 1=4$ 分。

這便是基本的矩陣分解（Matrix Factorization）方法。利用這個算法，我們只需要讓最小化目標爲

minU,I∑i=0nR(i)−U(i)⋅V(i)​$$\underset{U,I}{min}\sum _{i=0}^{n}R(i)-U(i)·V(i)$$

R(i) 表示第 i 個評分，U(i) 表示第 i 個評分對應的用戶。

進一步可以用矩陣表示，讓Rij$R_{ij}$ 表示第 i 個用戶對 第 j 個商品的評分，讓

Eij={0 無評分1 有評分$$E_{ij}=\{\begin{array}{}0無評分\\ 1有評分\end{array}$$

於是優化目標就可以改寫爲

minU,IE⋅(R−UV)$$\underset{U,I}{min}E·(R-UV)$$

但是這個算法還有諸多侷限性，比如

• 每個用戶的評分是不同的，有的用戶心地善良，評分都是4,5分。有的用戶眼光挑剔，評分大多是2,3分。
• 每個電影的評分也是不同的。有的電影由於一些原因，自帶加分Buff，有的電影則因爲某些原因自帶減分Buff。
• 可能會出現過擬合現象。

爲了解決以上問題，可以採用BiasedMF算法。這個算法裏面加入了用戶偏移和商品偏移。此時，一個商品的評分用以下公式表示：Rpij=U(i)⋅V(j)+bu(i)+bi(j)$R{p}_{ij}=U(i)·V(j)+bu(i)+bi(j)$

Rp表示預測的評分，U V定義同上，bu，bi分別是用戶、商品的偏置係數。

同時，爲了防止過擬合，對U, V, bu, bi 的二範數乘以一個重整化係數(通常稱爲regularization， reg)，加入損失函數中。

於是優化目標變爲

minU,IE⋅(R−(UV+bu⋅[11...1]+⎡⎣⎢⎢⎢11...1⎤⎦⎥⎥⎥⋅bi))+λ(||U||2+||V||2+||bu||2+||bi||2)$$\underset{U,I}{min}E·(R-(UV+bu·\left[\begin{array}{ccc}1& 1...& 1\end{array}\right]+\left[\begin{array}{c}1\\ 1\\ ...\\ 1\end{array}\right]·bi))+\lambda (||U|{|}^2+||V|{|}^2+||bu|{|}^2+||bi|{|}^2)$$

但是此時可以明顯看到，重整化係數讓所有的矩陣都朝着絕對值變小的方向發展，也就是預測的評分會出現偏低。這樣顯然是不對的，所以需要對評分進行預處理，把所有評分都減去全部評分的均值。這樣重整化係數就產生了避免評分離均值太遠的趨勢，較爲合理。

具體算法

一種簡單的算法時隨機梯度下降。

即：對於每一個評分，進行誤差計算然後求導，然後根據梯度下降的方法更新權重。

如：

Lossij=(rij−rpij)2+規範化項=(rij−Ui⋅Vj−bui−bij)2+規範化項=error2+規範化項$$Los{s}_{ij}=(r_{ij}-r{p}_{ij}{)}^2+規範化項=(r_{ij}-U_i·V_j-b{u}_i-b{i}_j{)}^2+規範化項=erro{r}^2+規範化項$$

（1）

於是

∂Loss∂Uik=−2⋅(error⋅Vkj−λ⋅Uik)$${\displaystyle \frac{\mathrm{\partial }Loss}{\mathrm{\partial }{U}_{ik}}}=-2·(error·V_{kj}-\lambda ·U_{ik})$$

同理，容易看出：

∂Loss∂Vkj=−2⋅(error⋅Uik−λ⋅Vkj)$${\displaystyle \frac{\mathrm{\partial }Loss}{\mathrm{\partial }{V}_{kj}}}=-2·(error·U_{ik}-\lambda ·V_{kj})$$

∂Loss∂bui=−2⋅(error−λ⋅bui)$${\displaystyle \frac{\mathrm{\partial }Loss}{\mathrm{\partial }b{u}_i}}=-2·(error-\lambda ·b{u}_i)$$

∂Loss∂bij=−2⋅(error−λ⋅bij)$${\displaystyle \frac{\mathrm{\partial }Loss}{\mathrm{\partial }b{i}_j}}=-2·(error-\lambda ·b{i}_j)$$

而根據梯度下降的公式：

θ=θ−learningRate⋅∂Loss∂θ$$\theta =\theta -learningRate·\frac{\mathrm{\partial }Loss}{\mathrm{\partial }\theta }$$

就可以在每一次迭代中更新參數，從而找到最優的U,V,bi,bu$U,V,bi,bu$

同樣的，也可以對整個矩陣進行梯度下降。這樣子方便用Tensorflow訓練。

Loss=∑ij(rij−rpij)+規範化項$$Loss=\sum _{ij}(r_{ij}-r{p}_{ij})+規範化項$$

（2）

規範化項的變化

(1)和(2)兩個誤差公式的區別，在於每次計算的評分的數目。在多個評分一起訓練的時候，針對某一個參數，會有多個評分的誤差對其進行修正，所以規範化項需要相應增加一定的倍數。

嚴格來說，（1）式最後的結果並不符合優化目標

minU,IE⋅(R−(UV+bu⋅[11...1]+⎡⎣⎢⎢⎢11...1⎤⎦⎥⎥⎥⋅bi))+λ(||U||2+||V||2+||bu||2+||bi||2)$$\underset{U,I}{min}E·(R-(UV+bu·\left[\begin{array}{ccc}1& 1...& 1\end{array}\right]+\left[\begin{array}{c}1\\ 1\\ ...\\ 1\end{array}\right]·bi))+\lambda (||U|{|}^2+||V|{|}^2+||bu|{|}^2+||bi|{|}^2)$$

因爲對於每個參數，假設有 k 個評分關聯了這個參數，那麼實際上這個參數的規範化項也被帶入計算了 k 次，所以最後的優化目標近似

minU,IE⋅(R−(UV+bu⋅[11...1]+⎡⎣⎢⎢⎢11...1⎤⎦⎥⎥⎥⋅bi))+k⋅λ(||U||2+||V||2+||bu||2+||bi||2)$$\underset{U,I}{min}E·(R-(UV+bu·\left[\begin{array}{ccc}1& 1...& 1\end{array}\right]+\left[\begin{array}{c}1\\ 1\\ ...\\ 1\end{array}\right]·bi))+k·\lambda (||U|{|}^2+||V|{|}^2+||bu|{|}^2+||bi|{|}^2)$$

而整體訓練，是完全符合原始的優化目標的。

數學意義

假設每個用戶的特徵是符合單位正態分佈的，即：

Ui∼N(0,σ2u)$$U_i\sim N(0,{\sigma }_u^2)$$

同理，對於商品的特徵，用戶偏好，商品偏好我們也做如下假設

Vi∼N(0,σ2v)   bi∼N(0,σ2bi)   bu∼N(0,σ2bu)$$V_i\sim N(0,{\sigma }_v^2)bi\sim N(0,{\sigma }_{bi}^2)bu\sim N(0,{\sigma }_{bu}^2)$$

然後假設評分在預測值的基礎上，加上了方差爲 σr${\sigma }_r$ 的噪聲。

注意符合以上條件時，很顯然評分的均值就是0，所以首先需要把所有評分都減去平均值處理。

爲了找到最好的參數組合，相當於是使得如下的概率取到最大值：

maxU,V,bi,buP(U,V,bi,bu|R,σ2r,σ2v,σ2bi,σ2bu)$$\underset{U,V,bi,bu}{max}P(U,V,bi,bu|R,{\sigma }_r^2,{\sigma }_v^2,{\sigma }_{bi}^2,{\sigma }_{bu}^2)$$

根據貝葉斯公式，有

P(U,V,bi,bu|R,σ2r,σ2v,σ2bi,σ2bu)=P(R,U,V,bi,bu|σ2r,σ2v,σ2bi,σ2bu)P(R|σ2r,σ2v,σ2bi,σ2bu)$$P(U,V,bi,bu|R,{\sigma }_r^2,{\sigma }_v^2,{\sigma }_{bi}^2,{\sigma }_{bu}^2)={\displaystyle \frac{P(R,U,V,bi,bu|{\sigma }_r^2,{\sigma }_v^2,{\sigma }_{bi}^2,{\sigma }_{bu}^2)}{P(R|{\sigma }_r^2,{\sigma }_v^2,{\sigma }_{bi}^2,{\sigma }_{bu}^2)}}$$

很顯然，我們只改變 U,V,bi,bu$U,V,bi,bu$ 四個參數，所以這個式子的分子相當於一個常數，可以不去考慮。

而分子又可以化爲

P(R,U,V,bi,bu|σ2r,σ2v,σ2bi,σ2bu)=P(R|U,V,bu,bi)⋅P(U|σ2u)P(V|σ2v)⋅P(bi|sigma2bi)⋅P(bu|σ2bu)$$P(R,U,V,bi,bu|{\sigma }_r^2,{\sigma }_v^2,{\sigma }_{bi}^2,{\sigma }_{bu}^2)=P(R|U,V,b_u,b_i)·P(U|{\sigma }_u^2)P(V|{\sigma }_v^2)·P(bi|sigm{a}_{bi}^2)·P(bu|{\sigma }_{bu}^2)$$

很容易就可以看出

P(Rij|U,V,bu,bi)=12πσ2r−−−−√e−(Rij−Predij)22σ2r$$P(R_{ij}|U,V,b_u,b_i)={\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_r^2}}}{e}^{-{\displaystyle \frac{(R_{ij}-Pre{d}_{ij}{)}^2}{2{\sigma }_r^2}}}$$

其中，Predij=U(i)⋅V(j)+bu(i)+bi(j)$Pre{d}_{ij}=U(i)·V(j)+bu(i)+bi(j)$

因爲每個評分的噪聲是獨立的，因此總的概率就是所有單個評分的概率連乘：

P(R|U,V,bu,bi)=∏ij[12πσ2r−−−−√e−(Rij−Predij)22σ2r]Iij$$P(R|U,V,b_u,b_i)=\prod _{ij}[{\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_r^2}}}{e}^{-{\displaystyle \frac{(R_{ij}-Pre{d}_{ij}{)}^2}{2{\sigma }_r^2}}}{]}^{I_{ij}}$$

其中，

Iij$$I_{ij}$$

爲 1 表示有評分，爲0則無評分（不貢獻乘積）。

同理有：

P(U|σ2u)=∏ij12πσ2u−−−−√e−U2ij2σ2u$$P(U|{\sigma }_u^2)=\prod _{ij}{\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_u^2}}}{e}^{-{\displaystyle \frac{U_{ij}^2}{2{\sigma }_u^2}}}$$

P(V|σ2v)=∏ij12πσ2v−−−−√e−V2ij2σ2v$$P(V|{\sigma }_v^2)=\prod _{ij}{\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_v^2}}}{e}^{-{\displaystyle \frac{V_{ij}^2}{2{\sigma }_v^2}}}$$

P(bu|σ2bu)=∏j12πσ2bu−−−−−√e−bu2j2σ2bu$$P(bu|{\sigma }_{bu}^2)=\prod _j{\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_{bu}^2}}}{e}^{-{\displaystyle \frac{b{u}_j^2}{2{\sigma }_{bu}^2}}}$$

P(bi|σ2bi)=∏j12πσ2bi−−−−√e−bi2j2σ2bi$$P(bi|{\sigma }_{bi}^2)=\prod _j{\displaystyle \frac{1}{\sqrt{2\pi {\sigma }_{bi}^2}}}{e}^{-{\displaystyle \frac{b{i}_j^2}{2{\sigma }_{bi}^2}}}$$

這些概率相乘，然後取對數，就得到了熟悉的表達式：

−E⋅(R−(UV+bu⋅[11...1]+⎡⎣⎢⎢⎢11...1⎤⎦⎥⎥⎥⋅bi))σ2r−(||U||2σ2u+||V||2σ2v+||bu||2σ2bu+||bi||2σ2bi)$$-{\displaystyle \frac{E·(R-(UV+bu·\left[\begin{array}{ccc}1& 1...& 1\end{array}\right]+\left[\begin{array}{c}1\\ 1\\ ...\\ 1\end{array}\right]·bi))}{{\sigma }_r^2}}-({\displaystyle \frac{||U|{|}^2}{{\sigma }_u^2}}+{\displaystyle \frac{||V|{|}^2}{{\sigma }_v^2}}+{\displaystyle \frac{||bu|{|}^2}{{\sigma }_{bu}^2}}+{\displaystyle \frac{||bi|{|}^2}{{\sigma }_{bi}^2}})$$

於是很容易得出，U, V, bu, bi 對應的規範化係數應該分別爲：

σ2u/σ2r,σ2v/σ2r,σ2bu/σ2r,σ2bi/σ2r$${\sigma }_u^2/{\sigma }_r^2,{\sigma }_v^2/{\sigma }_r^2,{\sigma }_{bu}^2/{\sigma }_r^2,{\sigma }_{bi}^2/{\sigma }_r^2$$

在前面的推導中，我們全部用λ$\lambda$ 代替了。因爲實際上我們並不能猜測出U、V、bu、bi的方差，因此這個公式只是從理論上證明了規範化係數的合理性，並沒有告訴我們如何確定規範化係數。

參考文獻

[1] [Mnih and Salakhutdinov, 2007] Andriy Mnih and Ruslan Salakhutdinov. Probabilisticmatrixfactorization. InNIPS ’07, 2007.