多種概率分佈總結

一. 離散概率分佈

1. 兩點分佈（伯努利分佈、0-1分佈）

兩點分佈也稱爲0-1分佈、伯努利分佈，隨機變量只取0或1，如一次拋硬幣實驗的正反面。概率質量函數：

$P(X=x)=\begin{cases} { p }^{ x }{ (1-p) }^{ 1-x }\quad for\quad x=0\quad or\quad 1 \\ 0\quad \quad \quad \quad \quad \quad otherwise \end{cases}$

期望、方差

$E(X) =p,\quad Var(X) = p(1-p)$

交叉熵損失函數的樣本假設是兩點分佈

2. 二項分佈

二項分佈是進行n次獨立實驗，每次實驗都是一次兩點分佈，隨機變量X表示n次實驗成功次數。概率質量函數：

$P(X=k)=\begin{cases} { C }_{ n }^{ k }{ p }^{ k }{ (1-p) }^{ n-k }\quad for\quad k=0,1,...,n \\ 0\quad \quad \quad \quad \quad \quad \quad \ otherwise \end{cases}$

期望、方差

$E(X)=np,\quad Var(X)=np(1-p)$

3. 幾何分佈

幾何分佈也是進行多次獨立兩點實驗，隨機變量X表示第一次成功所進行實驗的次數。概率質量函數：

$P(X=k)=\begin{cases} p{ (1-p) }^{ k-1 }\quad for\quad k=1,2,3... \\ 0\quad \quad \quad \quad \quad \ otherwise \end{cases}$

期望、方差

$E(X)={ 1 }/{ p },\quad Var(X)={ (1-p) }/{ { p }^{ 2 } }$

4. 負二項分佈

負二項分佈是幾何分佈的一般形式，隨機變量X表示直到成功r次所進行實驗的次數。概率質量函數：

$P(X=k)=\begin{cases} { C }_{ k-1 }^{ r-1 }{ p }^{ r }{ (1-p) }^{ k-r }\quad for\quad k=1,2,3... \\ 0\quad \quad \quad \quad \quad \quad \quad \quad otherwise \end{cases}$

期望、方差

$E(X)={ r(1-p) }/{ p },\quad Var(X)=r(1-p)/{ p }^{ 2 }$

5. 超幾何分佈

隨機變量X表示(在N個物品中有指定物品M個)不放回抽取n次，抽中指定物品的個數。概率質量函數：

$P(X=k)=\begin{cases} \frac { { C }_{ M }^{ k }{ C }_{ N-M }^{ n-k } }{ { C }_{ N }^{ n } } \quad 0\le k\le M \\ 0\quad \quad \quad \quad otherwise \end{cases}$

期望、方差

$E(X)={ nM }/{ N },\quad Var(X)=n\frac { M }{ N } \frac { (N-M) }{ N } \frac { (N-n) }{ N-1 }$

6. 泊松分佈

泊松分佈適合於描述單位時間內隨機事件發生次數的概率分佈。概率質量函數：

$P(X=k)=\frac { { e }^{ -\lambda }{ \lambda }^{ k } }{ k! }$

參數λ是單位時間（或單位面積）內隨機事件的平均發生率。

期望、方差

$E(X)=Var(X)=\lambda$

在二項分佈的伯努利試驗中，如果試驗次數n很大，二項分佈的概率p很小，且乘積λ= np比較適中，則事件出現的次數的概率可以用泊松分佈來逼近。https://zh.wikipedia.org/wiki/泊松分佈
λ大概等於20時，泊松分佈基本可以近似爲正態分佈進行處理

二. 連續概率分佈

1. 均勻分佈（矩形分佈）

均勻分佈是對稱概率分佈，在相同長度間隔的分佈概率是等可能的。概率密度函數：

$f(x)=\frac { 1 }{ b-a } \quad a\le x\le b$

均勻分佈由兩個參數a和b定義，它們是數軸上的最小值和最大值。

期望、方差

$E(X)=\frac { a+b }{ 2 } ,\quad Var(X)=\frac { { (b-a) }^{ 2 } }{ 12 }$

2. 正態分佈（高斯分佈）

如果一個指標並非受到某一個因素的決定作用，而是受到綜合因素的影響，那麼這個指標分佈呈正態分佈。概率密度函數：

$g(x)=\begin{cases} \frac { 1 }{ \sigma \sqrt { 2\pi } } { e }^{ { \frac { { -{ (x-\mu ) }^{ 2 } } }{ 2{ \sigma }^{ 2 } } } }\quad x\ge 0 \\ 0\quad \quad \quad\ \quad \quad otherwise \end{cases}$