EM(Expectation Maximum) 算法總結

EM算法，全稱爲Expectation Maximum Algorithm，是一個基礎算法，是很多機器學習領域算法的基礎（如HMM，LDA等）。EM算法是在概率模型中尋找參數最大似然估計或者最大後驗估計的算法，其中概率模型依賴於無法觀測的隱含變量。
它經過兩個步驟交替進行計算：

1. 計算期望（E步），基於現有的模型參數（或者隨機初始化的模型）對隱含變量的值進行猜測（估計），利用隱含變量現有的估計值，計算其最大似然的估計值。
2. 最大化（M步），最大化在E步上求得的最大似然值來計算參數的值。M步上找到的參數估計值被用於下一個E步計算中，這個過程不斷交替進行。

EM解決的問題

我們經常會從樣本觀察數據中，找出樣本的模型參數。其中最常用的就是最大似然估計。但是在一些情況下，我們觀察得到的數據有未觀察到的隱含數據，此時我們未知的有隱含數據和模型參數，因此無法直接使用最大似然估計。
EM算法解決這個問題的思路是使用啓發式的迭代方法。既然我們無法直接求出模型的參數，那麼我們可以先猜想隱含數據——E步，接着基於觀察數據和猜測的隱含數據一起來進行最大似然估計，進而求得我們模型分佈的參數——M步。由於我們之前的隱藏數據是猜測的，所以此時得到的模型參數並不一定是最好的結果。因此，我們基於當前得到的模型參數來繼續猜測隱含數據，然後進行最大似然估計求出模型分佈參數。以此類推，不斷迭代，直到模型分佈參數基本不變化或變化很小，算法收斂停止。
一個最直觀的EM算法是K-Means聚類算法。在K-Means聚類時，每個聚類的質心可以看成是隱含數據。我們會假設$K$個初始化質心，即EM算法的E步；然後計算每個樣本和$K$個質心之間的距離，並把樣本聚類到最近的那個質心類中，即EM算法的M步。重複這個E步和M步質心不在變化爲止。

EM算法的數學基礎

極大似然估計

似然函數

在數理統計學中，似然函數是一種關於統計模型中參數的函數，表示模型參數中的似然性（某種事件發生的可能性）。顯然，極大似然就是最大可能性的意思。
多數情況下我們是根據已知條件來推算結果，而最大似然估計是已知結果來尋求使該結果出現的可能性最大的條件，以此作爲估計值。
假定已知某個參數$B$時，推測事件$A$發生的概率爲:
$P(A|B) = \frac{P(A,B)}{P(B)}$
由貝葉斯公式，可以得出:
$P(B|A) = \frac{P(B)\cdot P(A|B)}{P(A)}$
一般來說，事件$A$發生的概率與某一未知參數$B$有關，$B$的取值不同，則事件$A$發生的概率$P(A|B)$也不同，當我們在一次試驗中事件$A$發生了，則認爲此時的$\hat B$值應該是$B$的所有取值中使得$P(A|B)$達到最大的那一個，極大似然估計法就是要選取這樣的$\hat B$值作爲參數$B$的估計值，使選取的樣本在被選的總體中出現的可能性爲最大。
直觀的例子: 設甲箱子中有$99$個白球，$1$個黑球；乙箱中有$1$個白球，$99$個黑球。現隨機取出一箱，再從抽取的一箱中隨機取出一球，結果是黑球，這一黑球從乙箱取出的概率比從甲箱取出的概率大的多，這時我們自然更多地相信這個黑球是取自乙箱的。

極大似然估計舉例

假設我們要調查我們學校的男生和女生的身高分佈。假設我們在校園裏隨機找了男女生分別$100$個，共$200$人。我們將他們按性別劃分爲兩組，然後先統計抽樣得到的$100$個男生的身高。假設身高都服從正態分佈，但是分佈的參數均值$\mu$和方差$\sigma^2$我們不知道。這也正是我們所要估計得參數，記爲$\theta = [\mu,\sigma^2]^T$。問題相當於已知樣本集$X$，求$P(\theta|X)$
**我們知道樣本所服從的概率分佈和模型的一些樣本，需要求解該模型的參數。**如圖：

下面我們通過使用最大似然估計來估計出我們模型的參數。
設樣本集$X = {x_1,x_2,...x_N},N=100，P(x_i|\theta)$爲概率密度函數，表示抽到男生$x_i$（身高）的概率。我們一般假設每個樣本之間是獨立同分布的，所以我同時抽到他們的概率就是他們各自概率的乘積，也就是樣本集$X$中各個樣本的聯合概率:
$L(\theta) = L(x_1,x_2,....x_N;\theta) = \prod_{i=1}^N p(x_i|\theta)$
通常情況下，因爲這裏的$L(\theta)$是連乘的，所以我們一般取對數。
$L(\theta) = \sum_{i = 1}^N \log p(x_i|\theta)$
似然函數$L(\theta)$反映了在概率密度函數的參數是$\theta$時，得到樣本集$X$的概率。我們需要找到這樣一個參數$\hat\theta$，使抽到$X$這組樣本的概率最大，也就是需要其對應的似然函數$L(\theta)$最大。滿足這樣條件的$\hat\theta$叫做$\theta$的最大似然估計量，記爲：
$\hat\theta = \arg \max_\theta L(\theta)$

極大似然估計步驟:

1. 寫出似然函數；
2. 取對數得到對數似然函數並整理
3. 求導數，令其導數爲$0$得到似然方程
4. 解似然方程，得到的參數即爲所求

Jensen不等式

設$f$是定義域爲實數的函數，如果對於所有的實數$x$，$f(x)$的二次導數大於等於$0$，那麼$f$是凸函數。當$x$是向量時，如果Hessian矩陣$H$是半正定的（$H>=0$），那麼$f$是凸函數。如果$f''(x) > 0,H>0$，那麼是嚴格的凸函數。

Jensen不等式：如果$f$是凸函數，$X$是隨機變量，那麼有$E[f(X)] >= f(E[X])$，也就是函數的期望大於等於期望的函數。特別地，如果$f$是嚴格的凸函數，那麼$E[f(x)] = f(E[x])$當且僅當$P(X = E[X]) = 1$時成立，也就是說$X$是常數。
對於凹函數，不等號方向反向 $E[f(X)] <= f(E[X])$。
如圖:

圖中實現$f$是凸函數，$X$是隨機變量，有$0.5$的概率是$a$，有$0.5$的概率是$b$。$X$的期望值就是$a$和$b$的中值了，從上圖中我們可以看到$E[f(x)] >= f(E[x])$成立。

EM算法

問題描述

極大似然估計用一句話概括就是：知道結果$X$，反推模型參數$\theta$。
對於上面我們舉的男女身高的例子，極大似然估計的目標就是根據男女分別$100$個身高樣本，來分別估計男女生身高的正態分佈的參數$\mu_1,\sigma_1,\mu_2,\sigma_2$。但是極大似然估計面臨的概率分佈只有一個或者知道結果是通過哪個概率分佈實現的，只不過你不知道這個概率分佈的參數。現在我們讓情況更復雜一些:
我們挑選的這$200$人混在一起了，也就是說我們擁有$200$人的身高數據，但是我們不知道每個人是男生還是女生，此時的男女性別就像是一個隱變量(latent variable)。
通常來說，我們只有精確的知道了男女生身高的正態分佈參數，才能更好的知道每一個人是男生和女生哪個概率更大一些。但是反過來，我們必須知道每個人是男生還是女生才能用最大似然估計儘可能準確地估計男女各自身高的正態分佈參數。
EM算法就是爲了解決這種問題而存在的。

EM算法中的隱變量

一般的用$X$表示觀測到的隨機變量的數據，$Z$表示隱隨機變量的數據（因爲我們觀測不到結果是從哪個概率分佈中得出的，所以將這個叫做隱變量，它一般是離散的）。$X$和$Z$連在一起稱爲完全數據，單獨一個$X$我們稱爲觀測數據。
其實我們可以發現，我們所面臨的問題其實就是$Z$是未知的，如果隱變量$Z$已知，那麼問題就可以用極大似然估計來求解了。因此，EM算法的基本思想就是:

1. 先給模型參數$\theta$一個隨機初始化的初值$\theta_0$
2. 根據模型參數$\theta$和給定的觀測數據，求未觀測數據$z$的條件概率分佈期望
3. 利用上一步已經求出的$z$，進行極大似然估計，得到更優的$\theta'$
4. 不斷進行2,3步的迭代，直到收斂

EM算法的另一個例子-拋硬幣

如上圖，現在我們拋兩枚硬幣$A$和$B$，如果知道每次拋的是$A$還是$B$，那麼就直接可以估計每種硬幣的參數$\theta_A,\theta_B$（正面朝上的概率）。如果我們只觀測到$5$輪循環，每輪拋硬幣$10$次，而並不知道每輪是拋的哪個硬幣（這就是隱變量），那麼我們就無法直接估計參數$\theta_A,\theta_B$。這時我們可以使用EM算法，先對參數$\theta_A,\theta_B$進行隨機初始化，然後根據模型參數去計算隱變量的條件概率。比如對於第一組數據“HTTTHHTHTH”,爲$A$的可能性爲：$0.6^5 \times (1-0.6)^5$,爲$B$的可能性爲：$0.5^5\times0.5^5$，二者進行歸一化得出隱變量有$0.45$的概率是硬幣$A$，有$0.55$的概率是硬幣$B$。得到隱變量$z$後我們可以去進行M步計算極大似然估計求得更好的$\theta'$,…以此類推。

EM算法的推導

對$m$個樣本觀察數據$x=(x^{(1)},x^{(2)},...x^{(m)})$中，找出樣本的模型參數$\theta$,最大化模型分佈的對數似然函數如下：
$\theta = arg \max \limits_{\theta}\sum\limits_{i=1}^m logP(x^{(i)};\theta)$
如果我們得到的觀察數據有未觀察到的隱含數據$z=(z^{(1)},z^{(2)},...z^{(m)})$,此時我們模型的最大化（極大化）模型分佈的對數似然函數如下：
$\theta = arg \max \limits_{\theta}\sum\limits_{i=1}^m logP(x^{(i)};\theta) = arg \max \limits_{\theta}\sum\limits_{i=1}^m log\sum\limits_{z^{(i)}}P(x^{(i)}， z^{(i)};\theta)$
對於參數估計，我們本質上還是想獲得一個使似然函數最大化的那個參數$\theta$，現在的上式與之前不同的是我們似然函數之中多了一個未知的變量$z$。也就是說我們的目標是找到合適的$\theta$和$z$使得似然函數最大。那我們也許會想，僅僅是多了個未知變量而已，我們也可以分別對$\theta$和$z$求偏導，再令其爲$0$,求出對應的解即可。但是，這裏我們看到上式包含了“和”的對數，求導之後的形式非常複雜，所以很難求出對應的解析解。因此EM算法採用了一些技巧，讓我們接着往下看。
$\begin{aligned} \sum\limits_{i=1}^m log\sum\limits_{z^{(i)}}P(x^{(i)}， z^{(i)};\theta) & = \sum\limits_{i=1}^m log\sum\limits_{z^{(i)}}Q_i(z^{(i)})\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})} \\ & \geq \sum\limits_{i=1}^m \sum\limits_{z^{(i)}}Q_i(z^{(i)})log\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})} \end{aligned} \tag{1}$
第一步我們引入了一個未知分佈（隱變量$z$的概率分佈）$Q_i(z^{(i)})$，其中$\sum_{z^(i)}Q_i(z^{(i)}) = 1$。（這一步其實我們什麼都沒有做，只是對分子分母進行了縮放）。
第二步我們使用的是上面我們提到過的$Jensen$不等式。因爲這裏$\log$函數是一個凹函數(二次導師爲$\frac{-1}{x^2}$)，所以根據Jensen不等式我們有$E[f(x)] \leq f(E[x])$。至此，我們就將“和”的對數變爲了對數的“和”，再求導就很容易了。
上式中的$\sum\limits_{z^{(i)}}Q_i(z^{(i)})\log\frac{P(x_i,z^{(i)};\theta)}{Q_i(z^{(i)})}$，其實就是函數$\log\frac{P(x_i,z^{(i)};\theta)}{Q_i(z^{(i)})}$關於$Q_i(z^{(i)})$的期望。爲什麼？回想期望公式中的lazy Statistician規則如下:

設$Y$是隨機變量$X$的函數$Y = g(X)$（$g$是連續函數），那麼

1. $X$是離散型隨機變量，它的分佈律爲$P(X = x_k) = p_k,k = 1,2,\dots$,
   $\sum\limits_{k = 1}^{\infty}g(x_k)p_k$絕對收斂，則有$E(Y) = E(g(X)) = \sum\limits_{k = 1}^{\infty}g(x_k)p_k$。
2. $X$是連續型隨機變量，它的概率密度爲$f(x)$,若$\int\limits_{ \infty}^{\infty}g(x)f(x)dx$絕對收斂，則有$E(Y) = E(g(X)) = \int\limits_{ \infty}^{\infty}g(x)f(x)dx$.

考慮到$E(X) = \sum x\cdot p(x)$，則有$E(f(x)) = \sum f(x)\cdot p(x)$，又因爲有$\sum\limits_{z^{(i)}}Q_i(z^{(i)}) = 1$，所以我們可以使用Jensen不等式得到(1)式中的不等式:
$f\left(E_{Q_i(z^{(i)})}\left[\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})} \right]\right) \geq E_{Q_i(z^{(i)})}\left[f\left(\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})} \right)\right]$
到這裏我們就應該很清楚了，但是我們大家可能發現這裏是一個不等號，而我們是想求得似然函數的最大值，那麼應該怎麼辦呢？
其實上式(1)相當於對似然函數求了下界，因此我們可以通過調整使得下界不斷的變大從而似然函數也不斷的變大，以逼近真實值。那麼什麼時候調整好了呢？當不等式等於等式時說明二者已經等價了。如圖:

我們先固定$\theta$,調整$Q(z)$使得下界$J(z,Q)$上升至與$L(\theta)$在此$\theta$處相等（綠色曲線到藍色曲線），然後固定$Q(z)$,調整$\theta$使當前的下界$J(z,Q)$達到最大值（$\theta_t$到$\theta_{t + 1}$）,然後再固定$\theta_t$，調整$Q(z)$使下界和$L(\theta)$相等，。。。直到收斂到似然函數$L(\theta)$的最大值處$\theta'$。
那麼等式成立的條件是什麼呢？
根據Jensen不等式中等式成立的條件$X$爲常數，這裏等式成立的條件爲：
$\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})} =c, c爲常數$
由於$Q_i(z^{(i)})$是一個未知的分佈且有$\sum\limits_{z^{(i)}}Q_i(z^{(i)}) =1$,因此我們可以進行一個變換：
$\sum\limits_{z^{(i)}}P(x^{(i)},z^{(i)};\theta) = \sum\limits_{z^{(i)}}Q_i(z^{(i)})c$
也就是 :
$\sum\limits_{z^{(i)}}P(x^{(i)},z^{(i)};\theta) = c$
因此我們可以得到:
$\begin{aligned} Q_i(z^{(i)}) &= \frac{P(x^{(i)},z^{(i)};\theta)}{c}\\ &= \frac{P(x^{(i)},z^{(i)};\theta)}{\sum\limits_{z^{(i)}}P(x^{(i)},z^{(i)};\theta)}\\ &=\frac{P(x^{(i)},z^{(i)};\theta)}{P(x^{(i)};\theta)} \\ &= P(z^{(i)}|x^{(i)};\theta) \end{aligned}$
至此，我們推出了在固定$\theta$之後，$Q_i(z^{(i)})$如何選擇的問題——使下界拉昇的$Q_i(z^{(i)})$的計算公式就是條件概率（後驗概率）。這一步就是$E$步，固定$\theta$,建立$L(\theta)$的下界，並求得使$L(\theta)$等於下界$J(z,Q)$時等號成立的$Q_i(z^{(i)})$.
接下來是$M$步，就是在$E$步求出$Q_i(z^{(i)})$後，固定$Q_i$,調整 $\theta$，去最大化下界$J(z,Q)$，畢竟在固定$Q_i(z^{(i)})$後，下界還可以更大。
即在$M$步我們需要最大化下式:
$arg \max \limits_{\theta} \sum\limits_{i=1}^m \sum\limits_{z^{(i)}}Q_i(z^{(i)})log\frac{P(x^{(i)}， z^{(i)};\theta)}{Q_i(z^{(i)})}$
由於$M$步我們固定$Q_i$，所以去掉上式中的常數部分，則我們需要極大化的對數似然下界爲:
$arg \max \limits_{\theta} \sum\limits_{i=1}^m \sum\limits_{z^{(i)}}Q_i(z^{(i)})log{P(x^{(i)}, z^{(i)};\theta)}$
至此，我們應該理解了EM算法中E步和M步的具體含義。

EM算法的流程

輸入：觀察數據$x=(x^{(1)},x^{(2)},...x^{(m)})$,聯合分佈$p(x,z ;\theta)$,條件分佈$p(z|x; \theta)$,最大迭代次數$J$。

1. 隨機的初始化模型參數$\theta$爲$\theta_0$
2. for j from 1 to J開始EM算法迭代：
   a) E步: 計算聯合分佈的條件概率期望:
   $Q_i(z^{(i)}) = P(z^{(i)}|x^{(i);\theta}) \\ L(\theta,\theta^j) = \sum\limits_{i = 1}^m\sum\limits_{z^{(i)}} Q_i(z^{(i)})\log P(x^{(i)},z^{(i)};\theta)$
   b) M步: 固定$Q_i$，極大化$L(\theta,\theta^j)$:
   $\theta^{j+1} = arg \max \limits_{\theta}L(\theta, \theta^{j})$
   c) 如果$\theta^{j + 1}$已收斂，則算法結束。否則繼續回到步驟a)進行E步迭代。

輸出：模型參數$\theta$

EM算法收斂性的證明

關於EM算法收斂性的證明，我們覺得B站上shuhuai008給出的兩種方法非常直觀https://www.bilibili.com/video/av31906558/?p=2
https://www.bilibili.com/video/av31906558/?p=3
EM算法的流程並不複雜，但是還是有兩個問題需要我們思考：

1. EM算法能保證收斂嗎？
2. EM算法如果保證收斂，那麼保證能收斂到全局最優解嗎？

要證明EM算法的收斂性，我們要證明我們的對數似然函數的值在迭代過程中值在增大。 即:
$\sum\limits_{i=1}^m logP(x^{(i)};\theta^{j+1}) \geq \sum\limits_{i=1}^m logP(x^{(i)};\theta^{j})$
也就是說，如果最大似然函數的值一直在增加，那麼最終我們會達到最大似然估計得最大值。
由於
$L(\theta, \theta^{j}) = \sum\limits_{i=1}^m\sum\limits_{z^{(i)}}P( z^{(i)}|x^{(i)};\theta^{j}))log{P(x^{(i)}， z^{(i)};\theta)}$
令：
$H(\theta, \theta^{j}) = \sum\limits_{i=1}^m\sum\limits_{z^{(i)}}P( z^{(i)}|x^{(i)};\theta^{j}))log{P( z^{(i)}|x^{(i)};\theta)}$
上面兩式相減得到：
$\sum\limits_{i=1}^m logP(x^{(i)};\theta) = L(\theta, \theta^{j}) - H(\theta, \theta^{j})$
在上式中分別取$\theta$爲$\theta^j$和$\theta^{j + 1}$並相減得到：
$\sum\limits_{i=1}^m logP(x^{(i)};\theta^{j+1}) - \sum\limits_{i=1}^m logP(x^{(i)};\theta^{j}) = [L(\theta^{j+1}, \theta^{j}) - L(\theta^{j}, \theta^{j}) ] -[H(\theta^{j+1}, \theta^{j}) - H(\theta^{j}, \theta^{j}) ]$
要證明EM算法的收斂性，我們只需要證明上式的右邊是非負的即可。
由於$\theta^{j + 1}$使得$L(\theta, \theta^{j})$極大，因此有:
$L(\theta^{j+1}, \theta^{j}) - L(\theta^{j}, \theta^{j}) \geq 0$
而對於第二部分，我們有：
$\begin{aligned} H(\theta^{j+1}, \theta^{j}) - H(\theta^{j}, \theta^{j}) & = \sum\limits_{i=1}^m\sum\limits_{z^{(i)}}P( z^{(i)}|x^{(i)};\theta^{j})log\frac{P( z^{(i)}|x^{(i)};\theta^{j+1})}{P( z^{(i)}|x^{(i)};\theta^j)} \\ & \leq \sum\limits_{i=1}^mlog(\sum\limits_{z^{(i)}}P( z^{(i)}|x^{(i)};\theta^{j})\frac{P( z^{(i)}|x^{(i)};\theta^{j+1})}{P( z^{(i)}|x^{(i)};\theta^j)}) \\ & = \sum\limits_{i=1}^mlog(\sum\limits_{z^{(i)}}P( z^{(i)}|x^{(i)};\theta^{j+1})) = 0 \end{aligned}$
其中第（4）式用到了Jensen不等式，只不過和第二節的使用相反而已，第（5）式用到了概率分佈累積爲1的性質。
至此，我們得到了:$\sum\limits_{i=1}^m logP(x^{(i)};\theta^{j+1}) - \sum\limits_{i=1}^m logP(x^{(i)};\theta^{j}) \geq 0$，證明了EM算法的收斂性。
從上面的推導可以看出，EM算法可以保證收斂到一個穩定點，d但是卻不能保證收斂到全局極大值點，因此它是局部最優的算法。當然如果我們的優化目標$L(\theta, \theta^{j})$是凸的，則EM算法可以保證收斂到全局最大值，這點和梯度下降法這樣的迭代算法相同。

EM算法的另一種解釋

如果我們定義：
$J(Q,\theta) = \sum\limits_i\sum\limits_{z^{(i)}}Q_i(z^{(i)})\log \frac{P(x^{(i)},z^{(i)};\theta)}{Q_i(z^{(i)})}$
從前面的推導我們知道$L(\theta) \geq J(Q,\theta)$,EM可以看作是座標上升法，E步固定$\theta$，優化$Q$；M步固定$Q$，優化$\theta$。
座標上升法（Coordinate ascent）：

圖中的直線式迭代優化的路徑，可以看到每一步都會向最優值前進一步，而且前進路線是平行於座標軸的，因爲每一步只優化一個變量。
這猶如在x-y座標系中找一個曲線的極值，然而曲線函數不能直接求導，因此什麼梯度下降方法就不適用了。但固定一個變量後，另外一個可以通過求導得到，因此可以使用座標上升法，一次固定一個變量，對另外的求極值，最後逐步逼近極值。
對應到EM上，就是：**E步：固定θ，優化Q；M步：固定Q，優化θ；交替將極值推向最大。 **

Reference

• https://www.cnblogs.com/huangyc/p/10123780.html
• https://www.cnblogs.com/pinard/p/6912636.html
• https://blog.csdn.net/v_july_v/article/details/81708386#commentBox
• https://blog.csdn.net/zhihua_oba/article/details/73776553
• http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
• https://www.bilibili.com/video/av31906558?p=3