5. 數理統計---極大似然估計

5.極大似然估計

Fisher的極大似然思想: 隨機試驗有多個可能結果, 但在一次實驗中, 有且只有一個結果會出現. 如果在某次實驗中, 結果$\omega$出現了, 則認爲該結果(事件{$\omega$})發生的概率$P\{\omega\}$最大.

假設總體$X$是離散隨機變量, 其分佈律爲:
$P\{X=a_k\}=p_k(\theta)(k=1, 2, ...)$
其中$\theta(\theta\in \Theta)$是未知參數.
$X_1, X_2, ..., X_n$是來自總體$X$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. 即事件$\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}$發生了.
由Fisher的極大似然思想可以得到, 概率:$P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}$最大.

$\begin{aligned} &P\{X_1=x_1, X_2=x_2, ..., X_n=x_n\}\\ &=P\{X_1=x_1\}P\{X_2=x_2\}\cdots P\{X_n=x_n\}\\ &=P\{X=x_1\}P\{X=x_2\}\cdots P\{X=x_n\}=L(\theta) \end{aligned}$

5.1 似然函數定義

定義1:
設$X_1, X_2, ..., X_n$是來自總體$X$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值.

1. 若X是離散型總體, 其分佈律爲:
   $P\{X=a_k\}=p_k(\theta)\\(k=1,2,...)$
   令$L(\theta)=L(\theta; x_1,x_2,...,x_n)=\prod_{i=1}^{n}P\{X_i=x_i\}, \theta\in \Theta$
2. 若X是連續型總體, 其密度爲$f(x;\theta)$.
   令$L(\theta)=L(\theta; x_1,x_2,...,x_n)=\prod_{i=1}^{n}f(x_i;\theta), \theta\in \Theta$
   稱$L(\theta)$爲似然函數

例子1: 設$X_1, X_2, ..., X_n$是來自總體$X\sim B(1,p)$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. $p$是未知參數. 試寫出似然函數.
解:$P\{X=x\}=p^x(1-p)^{1-x}$其中$x\in \{0,1\}$
$\begin{aligned} L(p)&=\prod_{i=1}^nP\{X_i=x_i\}\\ &=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\ &=p^{n\bar x}(1-p)^{n(1-\bar x)} \end{aligned}$

例子2: 設$X_1, X_2, ..., X_n$是來自總體$X\sim N(\mu,\sigma^2)$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. $\mu,\sigma^2$是未知參數. 試寫出似然函數.
**解:**正態分佈的密度函數$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
則似然函數可以寫爲:
$\begin{aligned} L(\mu,\sigma^2)&=\prod_{i=1}^nf(x_i)\\ &=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ &=(\frac{1}{\sqrt{2\pi}})^n(\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2} \end{aligned}$

5.2 極大似然估計定義

定義2
設$X_1, X_2, ..., X_n$是來自總體$X$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. $L(\theta)(\theta\in\Theta)$是似然函數. 若存在統計量$\hat \theta=\hat\theta(x_1,x_2,\cdots,x_n)$使得:
$L(\hat\theta)=\sup_{\theta\in\Theta}L(\theta)$
則稱$\hat \theta=\hat\theta(X_1,X_2,\cdots,X_n)$爲$\theta$的極大似然估計量, 簡記爲MLE(Maximum Likehood Estimate)

5.3 極大似然估計求解的一般過程

1. 根據總體分佈的表達式, 寫出似然函數:
   $L(\theta_1,\theta_2,\cdots,\theta_m)\qquad(\theta=(\theta_1,\theta_2,\cdots,\theta_m)\in\Theta)$
2. 因爲$L(\theta_1,\theta_2,\cdots,\theta_m)$與$\ln L(\theta_1,\theta_2,\cdots,\theta_m)$有相同的極值點, 稱$\ln L(\theta_1,\theta_2,\cdots,\theta_m)$爲對數似然函數, 記爲$l(\theta_1,\theta_2,\cdots,\theta_m)$. 求出$l(\theta_1,\theta_2,\cdots,\theta_m)$
3. 求出$l(\theta_1,\theta_2,\cdots,\theta_m)$的極大值點$\hat \theta_1,\hat \theta_2,\cdots,\hat \theta_n$, 即爲$\theta_1,\theta_2,\cdots,\theta_m$的MLE

說明:
若$l(\theta_1,\theta_2,\cdots,\theta_m)$關於$\theta_i(i=1,2,\cdots,m)$可導, 則稱:
$\left\{\begin{aligned} &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0\\ &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0\\ &\vdots\\ &\frac{\partial l(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_i}=0 \end{aligned} \right.$
爲對數似然方程組.

例子3: 設$X_1, X_2, ..., X_n$是來自總體$X\sim B(1,p)$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. $p$是未知參數. 試寫出極大似然估計.
解:$P\{X=x\}=p^x(1-p)^{1-x}$其中$x\in \{0,1\}$
$\begin{aligned} L(p)&=\prod_{i=1}^nP\{X_i=x_i\}\\ &=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\ &=p^{n\bar x}(1-p)^{n(1-\bar x)} \end{aligned}$
則對數似然函數爲:
$l(p)=\ln L(p)=n\bar x\ln p+n(1-\bar x)\ln(1-p)$
對$l(p)$求導:
$\begin{aligned} \frac{dl(p)}{dp}&=n\bar x\frac{1}{p}-n(1-\bar x)\frac{1}{1-p}=0\\ &\Rightarrow n\bar x(1-p)-n(1-\bar x)p=0\\ &\Rightarrow n\bar x-np=0\\ &\Rightarrow \hat p=\bar x \end{aligned}$

例子4: 設$X_1, X_2, ..., X_n$是來自總體$X\sim N(\mu,\sigma^2)$的樣本, $x_1, x_2, ..., x_n$是樣本的觀測值. $\mu,\sigma^2$是未知參數. 試寫出似然函數.
**解:**正態分佈的密度函數$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
則似然函數可以寫爲:
$\begin{aligned} L(\mu,\sigma^2)&=\prod_{i=1}^nf(x_i)\\ &=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ &=(\frac{1}{\sqrt{2\pi}})^n(\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2} \end{aligned}$
則對數似然函數爲:
$l(\mu,\sigma^2)=-\frac{n}{2}\ln{2\pi}-\frac{n}{2}\ln \sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2$
求導可得:
$\begin{aligned} \frac{\partial l}{ \partial \mu}&=\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu)=0\\ \frac{\partial l}{ \partial \sigma^2}&=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^{n}(x_i-\mu)^2=0\\ &\Rightarrow \hat \mu=\frac{1}{n}\sum_{i=1}^{n}x_i=\bar x\\ &\Rightarrow \hat \sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^2 \end{aligned}$

5.4 極大似然估計的不變性

定理: 設$\hat \theta$是$\theta$的極大似然估計, $u=u(\theta)$是函數$\theta$的函數, 且有單值反函數:
$\theta=\theta(u)$
則$u(\hat \theta)$是u的極大似然估計

例子5: 假設袋中有黑球和白球, 其中白球所佔比例爲$p(0<p<1)$未知. 每次有放回的從袋中隨機摸取一個求出來觀測其顏色後放回, 共摸了m個球, 其中白球的個數記爲$X$. 共重複了n次這樣的試驗, 得到樣本觀察值爲$x_1, x_2, \cdots, x_n$, 試求:

1. $p$的極大似然估計
2. 袋中白球和黑球之比R的極大似然估計
   解:
   (1) 總體的分佈爲:$X\sim B(m,p)$
   所以似然函數爲:
   $\begin{aligned} L(p)&=\prod_{i=1}^{n}P\{X_i=x_i\}=\prod_{i=1}^n\begin{pmatrix}m \\ x_i \\ \end{pmatrix}p^{x_i}(1-p)^{m-x_i}=p^{n\bar x}(1-p)^{n(m-\bar x)}\prod_{i=1}^n\begin{pmatrix}m \\ x_i \\ \end{pmatrix}\\ l(p)&=\ln L(p)=n\bar x\ln p+n(m-\bar x)(1-p)+\ln\prod_{i=1}^{n}\begin{pmatrix}m \\ x_i \\ \end{pmatrix} \end{aligned}$
   對於$l(p)$求導, 可得到對數似然方程:
   $\begin{aligned} \frac{dl(p)}{dp}&=\frac{n\bar x}{p}-\frac{n(m-\bar x)}{1-p}=0\\ &\Rightarrow \hat p=\frac{\bar x}{m} \end{aligned}$
   (2) 由極大似然估計的不變性可得:
   $R=\frac{p}{1-p}$
   則:
   $R=\frac{\hat p}{1-\hat p}=\frac{\bar x}{m-\bar x}$

問題: 矩估計是否有不變性?