似然函數

似然函數在形式上，其實就是樣本的聯合密度。
把x1，x2，x3，．．．．．，xn看作常數，而把待定參數θ0，θ2，．．．．．，θn看作 L 的自變量。
對連續型總體X 和離散型隨機變量X，樣本的似然函數分別是概率密度和分佈率的連城形式。

極大似然估計法的基本思想：在OLS估計中，我們假定一個單一總體的參數是確定的。這個總體可以生成大量的隨機樣本，我們所用的樣本不過是其中的一個。總之，在假設的重複抽樣過程中會產生大量的樣本，因而可以產生總體參數的大量樣本估計值。
極大似然估計法(Maximum Likelihood Estimation，MLE)需要對隨機擾動項的分佈做出假定，通常選擇正態分佈假定。在極大似然估計中，假定樣本是固定的，竹個觀測值都是獨立觀測的，這個樣本可由各種不同的總體生成，而每個樣本總體都有自己的參數。那麼在可供選擇的總體中，哪個總體最可能生成所觀測到的n個樣本值? 爲此需要估計每個可能總體取得這n個觀測值的聯合概率，選擇其參數能使觀測樣本的聯合概率最大的那個總體。

最大似然法，在二十世紀二十年代初，由費歇(R，A，Fisher l890—1962)發明的最大似然法(maximum likelihood method)是在所有估計問題中應用範圍最廣，並且可以從理論上證明由此得到的估計量具有幾個理想的特性的方法( 見下面說明)。它可以說是統計估計理論上劃時代的發現之一。設總體的概率模型爲F(x|θ)。爲了說明的方便，暫假定只有一個未知參數，X1，X2，……，Xn是容量爲 n 的隨機樣本（大寫X），實際觀測到的樣本觀測值（小寫x）爲 Xl=x1，X2=x2，……，Xn=xn 。把同各Xi對應的密度函數或概率函數(包括作爲未知數的未知參數)的連乘積看成是未知參數的函數，稱其爲似然函數(Likelihood function)。
也就是說，這樣定義的似然函數，就是把手中得到的樣本觀測值實現的“概率密度或概率”，即“似然程度”看成是未知參數θ的函數。使這一似然程度爲最大從而決定θ的值的“方式”，可以說是極爲“合理的”估計方式。令作爲樣本觀測值的函數被決定的θ* ＝ g(x1，x2，……，xn)對於一切可能的(先驗容許的)θ值，都能滿足下列條件
L(θ*)≥L(θ) ①
就是說θ*是使給定的樣本觀測值的似然程度爲最大的θ。這時θ*叫做θ的最大似然估計值。用觀測以前的樣本(隨機變量)X1，X2，……，Xn，代換函數g 的 n 個變量後得到的θ估計值θ^ = g(Xl，X2，……，Xn)叫做根據容量爲n的樣本計算的最大似然估計量。

如果所有可能的θ的集合是有限集合，要求解滿足條件①式的θ值是很容易確定的，然而在大部分的應用問題中，θ的集合是無限集合。因此，在許多場合將似然函數對θ求偏導數，然後需要另外求解的方法。
此外，由於似然函數是非負的，對其進行對數變換是單調遞增的變換，所以①式等價於㏒ L(θ*)≥㏒ L(θ)
並且，偏導數㏒/偏導數θ = (1/L) * 偏導數L/偏導數θ
所以使logL(θ)的偏導數爲0的θ值和使L(θ)的偏導函數爲0的θ值相等。
因此，當對L(θ)直接求導比較麻煩時，可以對LogL(θ)求導，從而求得估計值θ^。

似然函數(Likelihood Function):
假定{xi}i=1→n 是從概率密度函數爲f(x ; θ)的總體中抽取的獨立同分布樣本。目標是估計未知參數向量θ∈Rk。
似然函數定義爲觀察值xi的聯合密度L(X；θ)，它是θ的函數：
L(x；θ) = ∏f(xi ; θ)

其中，X爲樣本數據矩陣，由觀察值x1 , x2，……，xn組成每一行。
θ的最大似然估計量(maximum likelihood estimator，MLE)定義爲θ= arg maxL(X；θ)
通常最大化對數似然函數更容易求
ζ(X；0) = Log L(X；θ)
對數似然函數與似然函數的解是等價的，因爲對數轉換是單調的一對一映射。即
θ = arg max L(X；θ) = argmaxf(X；θ)
最大化過程總是可以被分析表達的，即我們將得到θ估計值的顯式分析表達式。然而不幸的是，在其他一些情形下，最大化過程可能是錯綜複雜的，牽涉到非線性最優化技術。

給定樣本X和似然函數，可將運用數值方法(numerical method)來確定最大化 L(X；θ)或者ζ(X；θ)的θ值，這些數值方法通常是基於牛頓一拉普生(Newton-Raphson)迭代技術。

來自：http://www.zybang.com/question/b404a34559959d22af97c1dc3233c7ce.html

總結：似然函數與概率的區別在於，似然函數引入了參數的概念，是已知概率求參數，概率是已知參數求概率。

舉例：

例子：

考慮投擲一枚硬幣的實驗。通常來說，已知投出的硬幣正面朝上和反面朝上的概率各自是 $p H = 0.5$ ，便可以知道投擲若干次後出現各種結果的可能性。比如說，投兩次都是正面朝上的概率是0.25。用條件概率表示，就是：

$P(\mbox{HH} \mid p_H = 0.5) = 0.5^2 = 0.25$

其中H表示正面朝上。

在統計學中，我們關心的是在已知一系列投擲的結果時，關於硬幣投擲時正面朝上的可能性的信息。我們可以建立一個統計模型：假設硬幣投出時會有 $p H$ 的概率正面朝上，而有 $1 - p H$ 的概率反面朝上。這時，條件概率可以改寫成似然函數：

$L(p_H = 0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.5) =0.25$

也就是說，對於取定的似然函數，在觀測到兩次投擲都是正面朝上時， $p H = 0.5$ 的似然性是0.25（這並不表示當觀測到兩次正面朝上時 $p H = 0.5$ 的概率是0.25）。

如果考慮 $p H = 0.6$ ，那麼似然函數的值也會改變。

$L(p_H = 0.6 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.6) =0.36$

注意到似然函數的值變大了。這說明，如果參數 $p H$ 的取值變成0.6的話，結果觀測到連續兩次正面朝上的概率要比假設 $p H = 0.5$ 時更大。也就是說，參數 $p H$ 取成0.6 要比取成0.5 更有說服力，更爲“合理”。總之，似然函數的重要性不是它的具體取值，而是當參數變化時函數到底變小還是變大。對同一個似然函數，如果存在一個參數值，使得它的函數值達到最大的話，那麼這個值就是最爲“合理”的參數值。

在這個例子中，似然函數實際上等於：