給定一個概率分佈,假定其概率密度函數(連續分佈)或概率聚集函數(離散分佈)爲,以及一個分佈參數,我們可以從這個分佈中抽出一個具有個值的採樣,通過利用,我們就能計算出其概率:
但是,我們可能不知道的值,儘管我們知道這些採樣數據來自於分佈。那麼我們如何才能估計出呢?一個自然的想法是從這個分佈中抽出一個具有個值的採樣,然後用這些採樣數據來估計.
一旦我們獲得,我們就能從中找到一個關於的估計。最大似然估計會尋找關於的最可能的值(即,在所有可能的取值中,尋找一個值使這個採樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的值。
要在數學上實現最大似然估計法,我們首先要定義似然函數:
並且在的所有取值上,使這個函數最大化。這個使可能性最大的值即被稱爲的最大似然估計。
注意
- 這裏的似然函數是指不變時,關於的一個函數。
- 最大似然估計函數不一定是惟一的,甚至不一定存在。
例子
離散分佈,離散有限參數空間
考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次(即,我們獲取一個採樣並把正面的次數記下來,正面記爲H,反面記爲T)。並把拋出一個正面的概率記爲,拋出一個反面的概率記爲(因此,這裏的即相當於上邊的)。假設我們拋出了49個正面,31個反面,即49次H,31次T。假設這個硬幣是我們從一個裝了三個硬幣的盒子裏頭取出的。這三個硬幣拋出正面的概率分別爲,,.這些硬幣沒有標記,所以我們無法知道哪個是哪個。使用最大似然估計,通過這些試驗數據(即採樣數據),我們可以計算出哪個硬幣的可能性最大。這個似然函數取以下三個值中的一個:
我們可以看到當時,似然函數取得最大值。這就是的最大似然估計。
離散分佈,連續參數空間
現在假設例子1中的盒子中有無數個硬幣,對於中的任何一個, 都有一個拋出正面概率爲的硬幣對應,我們來求其似然函數的最大值:
其中. 我們可以使用微分法來求最值。方程兩邊同時對取微分,並使其爲零。
其解爲,,以及.使可能性最大的解顯然是(因爲和這兩個解會使可能性爲零)。因此我們說最大似然估計值爲.
這個結果很容易一般化。只需要用一個字母代替49用以表達伯努利試驗中的被觀察數據(即樣本)的“成功”次數,用另一個字母代表伯努利試驗的次數即可。使用完全同樣的方法即可以得到最大似然估計值:
對於任何成功次數爲,試驗總數爲的伯努利試驗。
連續分佈,連續參數空間
現在有個正態隨機變量的採樣點,要求的是一個這樣的正態分佈,這些採樣點分佈到這個正態分佈可能性最大(也就是概率密度積最大,每個點更靠近中心點),其個正態隨機變量的採樣的對應密度函數(假設其獨立並服從同一分佈)爲:
或:
- ,
這個分佈有兩個參數:.有人可能會擔心兩個參數與上邊的討論的例子不同,上邊的例子都只是在一個參數上對可能性進行最大化。實際上,在兩個參數上的求最大值的方法也差不多:只需要分別把可能性在兩個參數上最大化即可。當然這比一個參數麻煩一些,但是一點也不復雜。使用上邊例子同樣的符號,我們有.
最大化一個似然函數同最大化它的自然對數是等價的。因爲自然對數log是一個連續且在似然函數的值域內嚴格遞增的上凸函數。[注意:可能性函數(似然函數)的自然對數跟信息熵以及Fisher信息聯繫緊密。]求對數通常能夠一定程度上簡化運算,比如在這個例子中可以看到:
這個方程的解是.這的確是這個函數的最大值,因爲它是裏頭惟一的一階導數等於零的點並且二階導數嚴格小於零。
同理,我們對求導,並使其爲零。
這個方程的解是.
因此,其關於的最大似然估計爲:
- .
性質
泛函不變性(Functional invariance)
如果是的一個最大似然估計,那麼的最大似然估計是.函數g無需是一個一一映射。請參見George Casella與Roger L. Berger所著的Statistical Inference定理Theorem 7.2.10的證明。(中國大陸出版的大部分教材上也可以找到這個證明。)
漸近線行爲
最大似然估計函數在採樣樣本總數趨於無窮的時候達到最小方差(其證明可見於Cramer-Rao lower bound)。當最大似然估計非偏時,等價的,在極限的情況下我們可以稱其有最小的均方差。 對於獨立的觀察來說,最大似然估計函數經常趨於正態分佈。
偏差
最大似然估計的偏差是非常重要的。考慮這樣一個例子,標有1到n的n張票放在一個盒子中。從盒子中隨機抽取票。如果n是未知的話,那麼n的最大似然估計值就是抽出的票上標有的n,儘管其期望值的只有.爲了估計出最高的n值,我們能確定的只能是n值不小於抽出來的票上的值。
注意:
最大似然估計是個概率學的問題,其作用對象是一次採樣的數據(包含了很多特徵信息點,知道其滿足什麼分佈,如高斯分佈,但參數未知,從而轉換爲一個參數估計的問題),最大似然估計的作用是,利用一次採樣的數據(不完整的數據,以拋硬幣的例子來說明最貼切),來估計完整數據的真實分佈,但該估計是最大可能的估計,而不是無偏估計。