離散隨機變量(概率導論第二章)

離散型隨機變量

1. 離散隨機變量的相關概念

在一個試驗的概率模型之下：

• 離散隨機變量是試驗結果的一個實值函數，但是他的取值範圍只能是有限多個值或可數無限多個值。
• 一個離散隨機變量有一個分佈列，他對於隨機變量的每一個取值，給出一個概率。
• 離散隨機變量的函數也是一個離散隨機變量，他的分佈列可以從原隨機變量的分佈列得到。

2. 分佈列

隨機變量$X$的分佈列的計算：

對每一個隨機變量$X$的值$x$:

1. 找出與事件${X=x}$相對應的所有試驗結果。
2. 將相應的試驗結果的概率相加得到$p_X(x)$。
3. 分佈列滿足歸一化定理，$\sum_xp_X(x)=1$

3. 隨機變量函數

設$X$是一個隨機變量，對$X$施行不同的變換，可以得到其他的隨機變量。

用$X$表示今天的氣溫(單位爲攝氏度，$^{\circ}C$)。做變換$Y=1.8X+32$得到華氏溫度的度數($^{\circ}F$)。在這裏$Y$是$X$的線性函數
$Y = g(X) = aX+b$
其中的$a$和$b$是常數。我們也可以考慮$X$的非線性函數
$Y = g(X)$
例如指數數，此時的變換爲$g(X) = e^X$。

設$Y = g(X)$是隨機變量$X$的函數。那麼對$Y$來說也是一個離散型隨機變量，叫做$p_Y(y)$。此時對每一個固定的$y$值，$p_Y(y)$的值可以通過下式計算
$p_Y(y) = \sum_{\{x|g(x)=y\}} p_X(x)$

4. 期望，均值和方差

4.1 期望

設隨機變量$X$的分佈列爲$p_X$，$X$的期望值有下式給出：
$E[X] = \sum_x xp_X(x)$

4.2 隨機變量的函數期望規則

設隨機變量$X$的分佈列爲$p_X$，又設$g(X)$是$X$的一個函數，則$g(X)$的期望有下列公式得到
$E[g(X)] = \sum_x g(x)p_X(x)$

4.3 方差

隨機變量的方差有下列公式所定義：
$var(X)=E[(X-E[X])^2]$
並且可以用下式進行計算：
$var(X) = \sum_x (x-E[X])^2p_X(x)$
用矩表達的方差公式如下：
$var(X) = E[X^2] - (E[X])^2$
除非$g(X)$是一個線性函數，一般情況下$E[g(X)] $不等於$g(E[X])$。

4.4 隨機變量的線性函數的均值和方差

設$X$爲隨機變量，令
$Y = aX+b$
其中$a$和$b$爲給定的常數，則
$E[Y] = aE[X] + b,\space \space var(Y)=a^2var(X)$

5. 多個隨機變量的聯合分佈列

設$X$和$Y$爲在某個試驗中的隨機變量。

• $X$和$Y$的聯合分佈列$P_{X,Y}$由下式定義

$p_{X,Y}(x,y) = P(X=x, Y=y)$

• $X$和$Y$的邊緣分佈列可由下式得到

$p_X(x) = \sum_y p_{X,Y}(x,y),\space \space p_Y(y) = \sum_x p_{X,Y}(x,y)$

• $X$和$Y$的函數$g(X,Y)$是一個隨機變量，並且

$E[g(X,Y)] = \sum_x\sum_yg(x,y)p_{X,Y}(x,y)$

 若$g$是線性的，並且$g = aX+bY +c$，則
$E[aX+bY+x] = aE[X]+bE[Y]+c$

• 上面的結論可以自然推廣到兩個以上的隨機變量的情況。

6. 條件

6.1 條件分佈列小結

設$X$和$Y$爲某一試驗中的兩個隨機變量。

• 條件分佈列與無條件分佈列完全類似，其差別只是前者是在已知某事件發生的條件下的隨機變量的分佈列。
• 設$A$爲某事件，$P(A)>0$。隨機變量$X$在給定$A$發生的條件下的條件分佈列爲

$p_{X|A}(x)=P(X=x|A)$

 並且滿足
$\sum_x p_{X|A}(x)= 1$

• 設$A_1,···,A_n$是一組互不相容的事件，並且形成樣本空間的一個分割，進一步假設$P(A_i)>0$對一切$i$成立，則

$p_X(x)=\sum_{i=1}^n P(A_i)p_{X|A}(x)$

 (這是全概率定理的一種特殊情況)。進一步假定事件$B$滿足對一切$i$，$P(A_i\cap B)>0$，則
$p_{X|B}(x)=\sum_{i=1}^n P(A_i|B)p_{X|A_i\cap B}(x)$

• 在給定$Y=y$的條件下$X$的條件分佈列與聯合分佈列之間有下列關係

$p_{X,Y}(x,y)=p_Y(y)p_{X|Y}(x|y)$

• 給定$Y$之下的$X$的條件分佈列可以通過以下的公式計算$X$的邊緣分佈列：

$p_X(x)=\sum_y p_Y(y)p_{X|Y}(x|y)$

• 上面的結論可以自然地推廣到兩個以上的隨機變量的情況

6.2 條件期望小結

設$X$和$Y$爲某一試驗中的兩個隨機變量。

• 設$A$爲某事件，$P(A)>0$。隨機變量$X$在給定$A$發生的條件下的條件期望爲

$E[X|A] = \sum_x xp_{X|A}(x)$

 對於函數$g(X)$，我們有
$E[g(x)|A]=\sum_x g(x)p_{X|A}(x)$

• 給定$Y=y$的條件下$X$的條件期望由下式定義

$E[X|Y=y]=\sum_x xp_{X|Y}(x|y)$

• 設$A_1,···,A_n$是一組互不相容的事件，並且形成樣本空間的一個分割，進一步假設$P(A_i)>0$對一切$i$成立，則

$E[X]=\sum_{i=1}^n P(A_i)E[X|A_i]$

 進一步假定事件$B$滿足對一切$i$，$P(A_i \cap B)>0$，則
$E[X|B]=\sum_{i=1}^n P(A_i|B)E[X|A_i \cap B]$

• 我們有

$E[X]=\sum_y p_Y(y)E[X|Y=y]$

上述最後三個等式適用於不同的場合，但他們本質上是相互等價的。他們都可以稱爲全期望定理。這些定理表達了這樣一個事實：“無條件平均可以由條件平均再求平均得到”。

7. 獨立性

獨立隨機變量的性質的小結：

設在某一試驗中，$A$是一個事件，滿足條件$P(A)>0$，又設$X$和$Y$是在同一個試驗中的兩個隨機變量。

• 稱$X$爲相對於事件$A$獨立，如果滿足

$p_{X|A}(x) = p_X(x)對一切x成立$

 即對一切$x$，事件$\{X=x\}$與$A$相互獨立。

• 稱$X$和$Y$爲相互獨立的隨機變量，如果對一切可能的數對$(x,y)$，事件$\{X=x\}$和$\{Y=y\}$相互獨立，或等價地

$p_{X,Y}(x,y)=p_X(x)p_Y(y)對一切x和y成立$

• 若$X$和$Y$相互獨立，則

$E[XY]=E[X]E[Y]$

 進一步地，對於任意函數$g$和$h$，隨機變量$g(X)$和$h(Y)$也是相互獨立的，並且
$E[g(X)h(Y)] = E[g(X)]E[h(Y)]$

• 若$X$和$Y$相互獨立，則

$var(X+Y) = var(X)+var(Y)$

8. 幾個特殊離散隨機變量的總結

1. $[a,b]$上的離散均勻分佈(a,b爲整數)

$p_X(k)= \begin{cases} \cfrac{1}{b-a+1} & 若k=a,a+1,···,b,\\ 0, & 其他 \end{cases}$

$E[X] = \cfrac{a+b}{2},\space\space var(X)=\cfrac{(b-1)(b-a+2)}{12}$

2. 參數爲$p$的伯努利隨機變量(刻畫一次試驗成功或失敗的概率模型)

$p_X(k)= \begin{cases} p, & 若 k=1,\\ 1-p & 若 k=0, \end{cases}$

$E[X]=p, \space \space \space var(X)=p(1-p)$

3. 參數爲$p$和$n$的二項隨機變量(刻畫$n$次獨立重複的伯努利試驗中成功次數的隨機變量)

$p_X(k)=\dbinom{n}{k}p^k(1-p)^{n-k}, \space \space k=0,1,···,n,$

$E[X]=np,\space \space \space var(X)=np(1-p)$

4. 參數爲$p$的幾何隨機變量(在獨立同分布的伯努利試驗序列中刻畫直到第一次成功所需的試驗次數的隨機變量)

$p_X(k)=(1-p)^{k-1}p, \space\space\space k=1,2,···,$

$E[X] = \cfrac{1}{p},\space\space\space var(X)=\cfrac{1-p}{p^2}$

5. 參數爲$\lambda$的泊松隨機變量(當$n$很大，$p$很小，$\lambda=np$時，用於逼近二項分佈的隨機變量)

$p_X(k)=e^{-\lambda}\cfrac{\lambda^k}{k!},\space\space\space k=0,1,2,···,$

$E[X]=\lambda,\space\space\space var(X)=\lambda$