EM, Expectation maximization

EM 算法是機器學習中比較重要的算法，可以用來做聚類。其EM的思想在纔是最重要（不斷的優化下界來逼近上界）。當我們面臨二個參數需要優化的時候，只要符合EM的不等式（凸函數），可以採用這種思想，先定一個參數，在優化另一個參數。以前在讀這個算法時，就費了很大的力氣，本想寫出來的，但看到別人博客裏寫了EM算法，且寫的比較通俗易懂，深入淺出，即使你以前沒有看過EM算法，只要你靜下心來，一定會看的懂。 下面主要介紹EM的整個推導過程。1. Jensen不等式 回顧優化理論中的一些概念。設f是定義域爲實數的函數，如果對於所有的實數x，clip_image002，那麼f是凸函數。當x是向量時，如果其hessian矩陣H是半正定的（clip_image004），那麼f是凸函數。如果clip_image006或者clip_image008，那麼稱f是嚴格凸函數。 Jensen不等式表述如下： 如果f是凸函數，X是隨機變量，那麼 clip_image010 特別地，如果f是嚴格凸函數，那麼clip_image012當且僅當clip_image014，也就是說X是常量。 這裏我們將clip_image016簡寫爲clip_image018。 如果用圖表示會很清晰： clip_image019 圖中，實線f是凸函數，X是隨機變量，有0.5的概率是a，有0.5的概率是b。（就像擲硬幣一樣）。X的期望值就是a和b的中值了，圖中可以看到clip_image010[1]成立。 當f是（嚴格）凹函數當且僅當-f是（嚴格）凸函數。 Jensen不等式應用於凹函數時，不等號方向反向，也就是clip_image021。2. EM算法 給定的訓練樣本是clip_image023，樣例間獨立，我們想找到每個樣例隱含的類別z，能使得p(x,z)最大。p(x,z)的最大似然估計如下： clip_image024 第一步是對極大似然取對數，第二步是對每個樣例的每個可能類別z求聯合分佈概率和。但是直接求clip_image026一般比較困難，因爲有隱藏變量z存在，但是一般確定了z後，求解就容易了。 EM是一種解決存在隱含變量優化問題的有效方法。竟然不能直接最大化clip_image028，我們可以不斷地建立clip_image030的下界（E步），然後優化下界（M步）。這句話比較抽象，看下面的。 對於每一個樣例i，讓clip_image032表示該樣例隱含變量z的某種分佈，clip_image032[1]滿足的條件是clip_image034。（如果z是連續性的，那麼clip_image032[2]是概率密度函數，需要將求和符號換做積分符號）。比如要將班上學生聚類，假設隱藏變量z是身高，那麼就是連續的高斯分佈。如果按照隱藏變量是男女，那麼就是伯努利分佈了。可以由前面闡述的內容得到下面的公式： clip_image035 （1）到（2）比較直接，就是分子分母同乘以一個相等的函數。（2）到（3）利用了Jensen不等式，考慮到clip_image037是凹函數（二階導數小於0），而且 clip_image038 就是clip_image039的期望（回想期望公式中的Lazy Statistician規則） 設Y是隨機變量X的函數clip_image041（g是連續函數），那麼 （1） X是離散型隨機變量，它的分佈律爲clip_image043，k=1,2,…。若clip_image045絕對收斂，則有 clip_image047 （2） X是連續型隨機變量，它的概率密度爲clip_image049，若clip_image051絕對收斂，則有 clip_image053 對應於上述問題，Y是clip_image039[1]，X是clip_image055，clip_image057是clip_image059，g是clip_image055[1]到clip_image039[2]的映射。這樣解釋了式子（2）中的期望，再根據凹函數時的Jensen不等式： clip_image060可以得到（3）。 這個過程可以看作是對clip_image028[1]求了下界。對於clip_image032[3]的選擇，有多種可能，那種更好的？假設clip_image026[1]已經給定，那麼clip_image028[2]的值就決定於clip_image057[1]和clip_image062了。我們可以通過調整這兩個概率使下界不斷上升，以逼近clip_image028[3]的真實值，那麼什麼時候算是調整好了呢？當不等式變成等式時，說明我們調整後的概率能夠等價於clip_image028[4]了。按照這個思路，我們要找到等式成立的條件。根據Jensen不等式，要想讓等式成立，需要讓隨機變量變成常數值，這裏得到： clip_image063 c爲常數，不依賴於clip_image065。對此式子做進一步推導，我們知道clip_image067，那麼也就有clip_image069，（多個等式分子分母相加不變，這個認爲每個樣例的兩個概率比值都是c），那麼有下式： clip_image070 至此，我們推出了在固定其他參數clip_image026[2]後，clip_image072的計算公式就是後驗概率，解決了clip_image072[1]如何選擇的問題。這一步就是E步，建立clip_image028[5]的下界。接下來的M步，就是在給定clip_image072[2]後，調整clip_image026[3]，去極大化clip_image028[6]的下界（在固定clip_image072[3]後，下界還可以調整的更大）。那麼一般的EM算法的步驟如下：循環重複直到收斂 { （E步）對於每一個i，計算 clip_image074 （M步）計算 clip_image075 那麼究竟怎麼確保EM收斂？假定clip_image077和clip_image079是EM第t次和t+1次迭代後的結果。如果我們證明了clip_image081，也就是說極大似然估計單調增加，那麼最終我們會到達最大似然估計的最大值。下面來證明，選定clip_image077[1]後，我們得到E步 clip_image083 這一步保證了在給定clip_image077[2]時，Jensen不等式中的等式成立，也就是 clip_image084 然後進行M步，固定clip_image086，並將clip_image088視作變量，對上面的clip_image090求導後，得到clip_image092，這樣經過一些推導會有以下式子成立： clip_image093 解釋第（4）步，得到clip_image092[1]時，只是最大化clip_image090[1]，也就是clip_image095的下界，而沒有使等式成立，等式成立只有是在固定clip_image026[4]，並按E步得到clip_image097時才能成立。 況且根據我們前面得到的下式，對於所有的clip_image097[1]和clip_image026[5]都成立 clip_image098 第（5）步利用了M步的定義，M步就是將clip_image088[1]調整到clip_image100，使得下界最大化。因此（5）成立，（6）是之前的等式結果。 這樣就證明了clip_image102會單調增加。一種收斂方法是clip_image102[1]不再變化，還有一種就是變化幅度很小。 再次解釋一下（4）、（5）、（6）。首先（4）對所有的參數都滿足，而其等式成立條件只是在固定clip_image026[6]，並調整好Q時成立，而第（4）步只是固定Q，調整clip_image026[7]，不能保證等式一定成立。（4）到（5）就是M步的定義，（5）到（6）是前面E步所保證等式成立條件。也就是說E步會將下界拉到與clip_image102[2]一個特定值（這裏clip_image088[2]）一樣的高度，而此時發現下界仍然可以上升，因此經過M步後，下界又被拉昇，但達不到與clip_image102[3]另外一個特定值一樣的高度，之後E步又將下界拉到與這個特定值一樣的高度，重複下去，直到最大值。 如果我們定義 clip_image103 從前面的推導中我們知道clip_image105，EM可以看作是J的座標上升法，E步固定clip_image026[8]，優化clip_image107，M步固定clip_image107[1]優化clip_image026[9]。3. 重新審視混合高斯模型 我們已經知道了EM的精髓和推導過程，再次審視一下混合高斯模型。之前提到的混合高斯模型的參數clip_image109和clip_image111計算公式都是根據很多假定得出的，有些沒有說明來由。爲了簡單，這裏在M步只給出clip_image113和clip_image115的推導方法。E步很簡單，按照一般EM公式得到： clip_image116 簡單解釋就是每個樣例i的隱含類別clip_image055[2]爲j的概率可以通過後驗概率計算得到。 在M步中，我們需要在固定clip_image072[4]後最大化最大似然估計，也就是 clip_image118 這是將clip_image120的k種情況展開後的樣子，未知參數clip_image122和clip_image124。 固定clip_image126和clip_image128，對clip_image130求導得 clip_image131 等於0時，得到 clip_image132 這就是我們之前模型中的clip_image115[1]的更新公式。 然後推導clip_image126[1]的更新公式。看之前得到的 clip_image133 在clip_image113[1]和clip_image115[2]確定後，分子上面的一串都是常數了，實際上需要優化的公式是： clip_image134 需要知道的是，clip_image126[2]還需要滿足一定的約束條件就是clip_image136。 這個優化問題我們很熟悉了，直接構造拉格朗日乘子。 clip_image137 還有一點就是clip_image139，但這一點會在得到的公式裏自動滿足。 求導得， clip_image141 等於0，得到 clip_image142 也就是說clip_image143再次使用clip_image136[1]，得到 clip_image144 這樣就神奇地得到了clip_image146。 那麼就順勢得到M步中clip_image126[3]的更新公式： clip_image147 clip_image111[1]的推導也類似，不過稍微複雜一些，畢竟是矩陣。結果在之前的混合高斯模型中已經給出。4. 總結 如果將樣本看作觀察值，潛在類別看作是隱藏變量，那麼聚類問題也就是參數估計問題，只不過聚類問題中參數分爲隱含類別變量和其他參數，這猶如在x-y座標 系中找一個曲線的極值，然而曲線函數不能直接求導，因此什麼梯度下降方法就不適用了。但固定一個變量後，另外一個可以通過求導得到，因此可以使用座標上升 法，一次固定一個變量，對另外的求極值，最後逐步逼近極值。對應到EM上，E步估計隱含變量，M步估計其他參數，交替將極值推向最大。EM中還有“硬”指 定和“軟”指定的概念，“軟”指定看似更爲合理，但計算量要大，“硬”指定在某些場合如K-means中更爲實用（要是保持一個樣本點到其他所有中心的概 率，就會很麻煩）。 另外，EM的收斂性證明方法確實很牛，能夠利用log的凹函數性質，還能夠想到利用創造下界，拉平函數下界，優化下界的方法來逐步逼近極大值。而且每一步 迭代都能保證是單調的。最重要的是證明的數學公式非常精妙，硬是分子分母都乘以z的概率變成期望來套上Jensen不等式，前人都是怎麼想到的。 在Mitchell的Machine Learning書中也舉了一個EM應用的例子，明白地說就是將班上學生的身高都放在一起，要求聚成兩個類。這些身高可以看作是男生身高的高斯分佈和女生 身高的高斯分佈組成。因此變成了如何估計每個樣例是男生還是女生，然後在確定男女生情況下，如何估計均值和方差，裏面也給出了公式，有興趣可以參考。