一.重要公式

1. 貝葉斯公式

經典的貝葉斯公式表示爲： $P(\theta |X)=\tfrac{P(X|\theta )*P(\theta )}{P(X)}$ 。

當X爲固定值時，P(X)爲公共項。故可以寫爲： $P(\theta |X)=\tfrac{P(X|\theta )*P(\theta )}{P(X)}\propto P(X|\theta)*P(\theta )$ 。

其中，我們對於隨機變量θ，可以定義定義：

①先驗概率： $P(\theta )$

②似然函數： $P(X|\theta )$

③後驗概率： $P(\theta |X)$

因此，可以給出最後對貝葉斯公式的解讀：後驗概率∝似然函數*先驗概率

2. Gamma函數（即Γ函數）

Gamma函數最初的由來，是爲了將積分與階乘聯繫到一起。哥德巴赫向伯努利兄弟寫信請教，最終由當時在場的歐拉在22歲時提出Gamma函數解決。

Gamma函數的數學表示爲： $\Gamma (a)=\int_{0}^{+\infty }t^{a-1}e^{-t}dt$ 。

這裏不再進行積分推導，直接給出Gamma函數的幾個性質：

①. 當a爲正整數時， $\Gamma (a)=(a-1)!$ 。

②. $\Gamma (a+1)=a\Gamma (a)$ 。

③. $\Gamma (\tfrac{1}{2})=\sqrt{\pi }$ 。

二.重要分佈

1. 二項分佈

二項分佈，即進行n次伯努利實驗的概率分佈。表示爲B~(n,p)。n爲實驗次數，p爲成功概率。

舉例：經典的拋硬幣問題，即一個簡單的二項分佈。二項分佈只有兩個結果，如果我們拋十次硬幣，將拋正面記爲成功，反面記爲失敗，則該分佈即可表示爲B~(10,0.5)。（假設正面反面概率均爲0.5）

可以得到， $P(k)=C_{n}^{k}p^{k}(1-p)^{n-k}$ 。

相應，可以認爲拋硬幣結果有4次正面的概率計算爲 $P(k=4)=C_{10}^{4}0.5^{4}(1-0.5)^{6}$ 。

2. 多項式分佈

多項式分佈，可以簡單理解成對於二項分佈的展開。

我們將二項分佈中，只有正反這兩個結果的情況改變。

①例如，有一個箱子，裏面有n個除了顏色都相同的球，其中顏色共有紅、橙、黃、綠、青、藍、紫七種，則假設不同顏色球的個數分別爲： $n_{1},n_{2},n_{3},n_{4},n_{5},n_{6},n_{7}$ 。

所以從中取出某顏色的球的概率就分別爲： $p_{1}=\tfrac{n_{1}}{n},p_{2}=\tfrac{n_{2}}{n},p_{3}=\tfrac{n_{3}}{n},p_{4}=\tfrac{n_{4}}{n},p_{5}=\tfrac{n_{5}}{n},p_{6}=\tfrac{n_{6}}{n},p_{7}=\tfrac{n_{7}}{n}$ 。

故，假設從中取球N次，且觀察顏色後放回，在共N次觀測中，掛測到 $N_{1}$ 次紅球、 $N_{2}$ 次橙球、 $N_{3}$ 次黃球、 $N_{4}$ 次綠球、 $N_{5}$ 次青球、 $N_{6}$ 次藍球、 $N_{7}$ 次紫球的概率（ $\sum_{i=1}^{7}N_{i}=N$ ）。

這就是一個典型的多項式分佈問題。類似這個問題我們進行如下定義：

② 多項式分佈的定義：設一個隨機事件共可能出現d種情況，且每種情況 $d{_{i}}$ 出現的概率爲 $\mu _{i}$ ，且 $\sum_{i=1}^{d}\mu _{i}=1$ 。故在N次獨立事件中出現 $m{_{i}}$ 次 $d{_{i}}$ 的概率。（其中 $\sum_{i=1}^{d}m_{i}=N$ ）

得到最後概率函數： $P(m_{1},m_{2}...m_{d}|N,\mu_{1},\mu_{2}...\mu_{d})=\tfrac{N!}{m_{1}!m_{2}!...m_{d}!}\prod_{i=1}^{d}\mu_{i}^{m_{i}}$ 。

有興趣可以對上面抓球的問題簡單理解一下，這裏不寫了。

3. 貝塔分佈（Beta分佈）

①.首先介紹貝塔函數： $B(a,b)=\frac{\Gamma(a)\Gamma (b)}{\Gamma(a+b)}$ 。這個函數就是一個調節參數，爲了使最後的函數積分爲1而設置。

②.貝塔分佈（Beta distribution）:對於連續隨機變量 $\mu\in [0,1]$ ，其概率密度函數如下(其中a>0、b>0)：

$P(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu )^{b-1}=\frac{1}{B(a,b)}\mu^{a-1}(1-\mu )^{b-1}$ 。

當a=b=1時，B(a,b)=1該分佈化爲均勻分佈。

對於貝塔分佈，可得到期望： $E[\mu]=\frac{a}{a+b}$ ，方差： $var[\mu]=\frac{ab}{(a+b)^{2}(a+b+a)}$ 。

4. 狄利克雷分佈（Dirichlet分佈）

類似於二項分佈向多項式分佈的擴展，狄利克雷分佈也是有貝塔分佈演化而來。我們將連續變量從1個增加到d個，分別定義爲 $\mu_{1},\mu_{2}...\mu_{d}\in[0,1]$ ，且 $\sum_{i=1}^{d}\mu _{i}=1$ 。參數由a、b兩個增加到d個參數，分別爲 $\alpha_{1},\alpha_{1},...,\alpha _{d}>0$ 。

定義 $\overrightarrow{\mu }=(\mu _{1};\mu _{2};...\mu _{d})$ 、 $\overrightarrow{\alpha}=(\alpha_{1};\alpha_{1};...\alpha _{d})$ 、 $\widehat{a}=\sum_{i=1}^{d}\alpha_{i}$ 。

故可以給出狄利克雷分佈的概率：

$P(\overrightarrow{\mu}|\overrightarrow{\alpha})=\frac{\Gamma(\widehat{\alpha })}{\Gamma(\alpha_{1})...\Gamma(\alpha_{d})}\prod_{i=1}^{d}\mu_{i}^{\alpha _{i}-1}$

對於狄利克雷分佈，可得到期望： $E[\mu_{i}]=\frac{\alpha_{i}}{\widehat{\alpha }}$ ，方差： $var[\mu_{i}]=\frac{\alpha_{i}(\widehat{\alpha}-\alpha_{i})}{\widehat{\alpha}^{2}(\widehat{\alpha }+1)}$ ，協方差： $cov[\mu _{i},\mu _{j}]=\frac{\alpha_{i}\alpha_{j}}{\widehat{\alpha}^{2}(\widehat{\alpha }+1)}$