經典摘錄-貝葉斯公式

本博客已遷移至 SnailDove’s Blog, 查看本文，請點擊此處

說明：全文摘自 Introduction to probability, 2nd Edition

本文討論條件概率定律的應用，首先引入一個計算事件概率的定理。

全概率公式

設 A1,A2,...,An$A_1,A_2,...,A_n$ 是一組互不相容的事件，它形成樣本空間的一個分割（每個試驗結果必定使得其中一個事件發生！）。又假定對每個 i,P(Ai)>0$i,P(A_i)>0$ 。則對任何事件 B$B$ ，下列公式成立

P(B)==P(A1∩B)+⋯+P(An∩B)P(A1)P(B|A1)+⋯+P(B)P(B|An)$$\begin{array}{rcl}P(B)& =& P(A_1\cap B)+\cdots +P(A_n\cap B)\\ & =& P(A_1)P(B|A_1)+\cdots +P(B)P(B|A_n)\end{array}$$

下圖是全概率公式的圖示和證明。直觀上，將樣本空間分割成若干事件 Ai$A_i$ 的並（ A1,⋯,An$A_1,\cdots ,A_n$ 形成樣本空間的一個分割）然後任意事件 B$B$ 的概率等於事件 B$B$ 在 Ai$A_i$ 發生的情況下的條件概率的加權平均，而權重剛好等於這些事件 Ai$A_i$ 的無條件概率。這條定理的一個主要應用是計算事件 B$B$ 的概率。直接計算事件 B$B$ 的概率有點難度，但是若條件概率 P(B|Ai)$P(B|A_i)$ 是已知的或是很容易推導計算時，全概率定理就成爲了計算 P(B)$P(B)$ 的有力工具。應用這條定理的關鍵是找到合適的分割 A1,⋯,An$A_1,\cdots ,A_n$ ，而合適的分割又與問題的實際背景有關。

由於事件 A1,A2,⋯,An$A_1,A_2,\cdots ,A_n$ 形成一個樣本空間的一個分割，事件 B$B$ 可以分解成不想交的 n$n$ 個事件的並，即：

B=(A!∩B)∪⋯∪(An∩B)(1)$$B=(A_{!}\cap B)\cup \cdots \cup (A_n\cap B)(1)$$

利用可加定理，得到：

P(B)=P(A1∩B)+⋯+P(An∩B)(2)$$P(B)=P(A_1\cap B)+\cdots +P(A_n\cap B)(2)$$

利用條件概率的定義，得到：

P(Ai∩B)=P(Ai)P(B|Ai)(3)$$P(A_i\cap B)=P(A_i)P(B|A_i)(3)$$

將 (3)$(3)$ 式子代入 (2)$(2)$ 式子中得到：

P(B)=P(A1)P(B|A1)+⋯+P(An)P(B|An)$$P(B)=P(A_1)P(B|A_1)+\cdots +P(A_n)P(B|A_n)$$

也可以用等價的序列樹形圖來說明全概率定理（如上右邊圖）：葉子 Ai∩B$A_i\cap B$ 的概率等於由葉子到根部上的概率的乘積 P(Ai)P(B|Ai)$P(A_i)P(B|A_i)$ 。而事件 B$B$ 由圖上顯示的3個葉子組成，將它們的概率相加就得到 P(B)$P(B)$ 。

全概率公式例子

例 1.13 你參加一個棋類比賽，其中 50%$50\mathrm{\%}$ 是一類棋手，你贏他們的概率爲 0.3%$0.3\mathrm{\%}$ ； 25%$25\mathrm{\%}$ 是二類棋手，你贏他們的概率是 0.4$0.4$ ；剩下的是三類棋手，你贏得他們的概率是 0.5$0.5$ 。從他們中間隨機地選一位棋手與你比賽，你勝算的概率有多大？

記 Ai$A_i$ 表示與你下棋的棋手的類別。依題意

P(A1)=0.5,P(A2)=0.25,P(A3)=0.25$$P(A_1)=0.5,P(A_2)=0.25,P(A_3)=0.25$$

記 B$B$ 爲你贏得比賽的事件，那麼得到：

P(B|A1)=0.3,P(B|A2)=0.4,P(B|A3)=0.5$$P(B|A_1)=0.3,P(B|A_2)=0.4,P(B|A_3)=0.5$$

那麼利用全概率公式，你在不比賽中勝出的概率爲：

P(B)===P(A1)P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3)0.5⋅0.3+0.25⋅0.4+0.25⋅0.50.375$$\begin{array}{rcl}P(B)& =& P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)\\ & =& 0.5\cdot 0.3+0.25\cdot 0.4+0.25\cdot 0.5\\ & =& 0.375\end{array}$$

推斷與貝葉斯定理

全概率公式經常與著名的貝葉斯公式聯繫起來，貝葉斯公式將形如 P(A|B)$P(A|B)$ 的條件概率與形如 P(B|A)$P(B|A)$ 的條件概率聯繫起來。

貝葉斯公式

設 A1,A2,…,An$A_1,A_2,\dots ,A_n$ 是一組互斥的事件，它形成樣本空間的一個分割（每個試驗結果必定使得其中一個事件發生）。又假定對每一個 i,P(Ai)>0$i,P(A_i)>0$ ，則對於任何事件 B$B$ ，只要它滿足 P(B)>0$P(B)>0$ ，下列公式成立：

P(Ai|B)==P(Ai)P(B|Ai)P(B)P(Ai)P(B|Ai)P(A1)P(B|A1)+⋯+P(An)P(B|An)$$\begin{array}{rcl}P(A_i|B)& =& \frac{P(A_i)P(B|A_i)}{P(B)}\\ & =& \frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+\cdots +P(A_n)P(B|A_n)}\end{array}$$

爲證明貝葉斯公式，只需注意到 P(Ai)P(B|Ai)$P(A_i)P(B|A_i)$ 與 P(B)P(Ai|B)$P(B)P(A_i|B)$ 是相等的，它們都等於 P(Ai∩B)$P(A_i\cap B)$ ，這樣得到了第一個等式，至於第二個等式，只需對 P(B)$P(B)$ 利用全概率公式即可。

貝葉斯公式還可以用來進行因果推理。有許多”原因“可以造成某一”結果“。現在設我們觀察到某一結果，希望推斷造成這個結果出現的”原因“。現在設事件 A1,…,An$A_1,\dots ,A_n$ 是原因，而 B$B$ 代表由原因引起的結果。 P(B|Ai)$P(B|A_i)$ 表示在因果模型中由”原因“ Ai$A_i$ 造成結果 B$B$ 的概率（見下圖）。當觀察到結果 B$B$ 的時候，希望反推結果 B$B$ 是由原因 Ai$A_i$ 造成的概率 P(Ai|B)$P(A_i|B)$ 。 P(Ai|B)$P(A_i|B)$ 爲由於代表新近得到的信息 B$B$ 之後 Ai$A_i$ 出現的概率，稱之爲後驗概率，而原來的 P(Ai)$P(A_i)$ 就稱爲先驗概率。

貝葉斯推斷的例子

醫學

在某病人X光片中發現一個陰影，（用 B$B$ 表示，代表”結果“）。希望對造成這種結果的3個原因進行分析。這3個原因互斥，並且造成這個結果的原因一定是三者之一：原因1（事件 A1$A_1$ ）是惡性腫瘤，原因2（事件 A2$A_2$ ）是良性腫瘤，原因3（事件 A3$A_3$ ）是腫瘤外的其他原因。假定已經知道 P(Ai)$P(A_i)$ 和 P(B|Ai),i=1,2,3$P(B|A_i),i=1,2,3$ 。現在已經發現了陰影（事件 B$B$ 發生），利用貝葉斯公式，這些原因的條件概率爲：

P(Ai|B)=P(Ai)P(B|Ai)P(A1)P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3),i=1,2,3$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)},i=1,2,3$$

在右圖給出序列樹形圖，可用序列樹形圖給出條件概率計算的另外一種等價的解釋。圖中第一個深灰的葉子表示惡性腫瘤並出現陰影，其概率爲 P(A1∩B)$P(A_1\cap B)$ ，且所有深灰的葉子表示片子中出現陰影，其概率爲 P(B)$P(B)$ ，而由惡性腫瘤造成陰影的條件概率 P(A1|B)$P(A_1|B)$ 是兩個概率相除的結果。

比賽

繼續使用例 1.13 你參加一個棋類比賽，其中 50%$50\mathrm{\%}$ 是一類棋手，你贏他們的概率爲 0.3%$0.3\mathrm{\%}$ ； 25%$25\mathrm{\%}$ 是二類棋手，你贏他們的概率是 0.4$0.4$ ；剩下的是三類棋手，你贏得他們的概率是 0.5$0.5$ 。現在假定你已經得勝，問你的對手爲一類棋手的概率有多大？
用 Ai$A_i$ 表示你與 i$i$ 類棋手相遇的事件。由例中給出的條件知道：

P(A1)=0.5,P(A2)=0.25,P(A3)=0.25$$P(A_1)=0.5,P(A_2)=0.25,P(A_3)=0.25$$

記 B$B$ 表示你贏的比賽的事件，你勝出的概率爲：

P(B|A1)=0.3,P(B|A2)=0.4,P(B|A3)=0.5$$P(B|A_1)=0.3,P(B|A_2)=0.4,P(B|A_3)=0.5$$

利用貝葉斯公式得：

P(A1|B)===P(A1)P(B|A1)P(A1)P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3)0.5⋅0.30.5⋅0.3+0.25⋅0.4+0.25⋅0.50.4$$\begin{array}{rcl}P(A_1|B)& =& \frac{P(A_1)P(B|A_1)}{P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)}\\ & =& \frac{0.5\cdot 0.3}{0.5\cdot 0.3+0.25\cdot 0.4+0.25\cdot 0.5}\\ & =& 0.4\end{array}$$

假陽性之謎

設對於某種少見的疾病的檢出率爲 0.95$0.95$ ；如果一個被檢查的病人有某種疾病，其檢查結果爲陽性的概率爲 0.95$0.95$ ；如果該人沒有這種疾病，其檢查結果爲陰性的概率是 0.95$0.95$ 。現在假定某一人羣中患有這種病的概率爲 0.001$0.001$ ，並從這個總體中隨機地抽取一個人進行檢測，檢查結果爲陽性。現在問這個人患有這種病的概率有多大？

設 A$A$ 爲這個人有這種疾病， B$B$ 爲經檢驗這個人爲陽性。利用貝葉斯公式：

P(A|B)===P(A)P(B|A)P(A)P(B|A)+P(Ac)P(B|Ac)0.001⋅0.950.001⋅0.95+0.999⋅0.050.0187$$\begin{array}{rcl}P(A|B)& =& \frac{P(A)P(B|A)}{P(A)P(B|A)+P(A^c)P(B|A^c)}\\ & =& \frac{0.001\cdot 0.95}{0.001\cdot 0.95+0.999\cdot 0.05}\\ & =& 0.0187\end{array}$$

儘管檢驗方法非常精確，一個經檢測爲陽性的人仍然不大可能真正患有這種疾病（患有該疾病的概率小於 2%​$2\mathrm{\%}$ ）。根據《經濟學人》雜誌 1999​$1999$ 年 2​$2$ 月 20​$20$ 日的報道，在一家著名的大醫院中 80%​$80\mathrm{\%}$ 的受訪者不知道這類問題的正確答案，而大部分人回答，這個經檢測爲陽性的人患病概率爲 0.95​$0.95$ !

連續隨機變量的貝葉斯公式

在許多情況下，我們會遇到一個沒有觀察到的對象。用隨機變量 X$X$ 代表這種未觀察到的量，設其概率密度函數是 fX(x)$f_X(x)$ 。我們能夠觀察到的量是經過噪聲干擾的量 Y$Y$ ，Y$Y$ 的分佈函數是條件分佈函數，其條件概率密度函數爲： fX|Y(y|x)$f_{X|Y}(y|x)$ 。當 Y$Y$ 的值被觀察到以後，它包含 X$X$ 的多少信息呢？這類問題與離散隨機變量的推斷問題類似。現在唯一的不同之處在於處理的是連續隨機變量。

上圖是推斷問題的框圖，有一個未觀察到的變量 X$X$ ，其概率密度函數 fX$f_X$ 是已知的，同時得到一個觀察到的隨機變量 Y$Y$ ，其條件概率密度函數爲 fY|X(y|x)$f_{Y|X}(y|x)$ 。給定 Y$Y$ 的觀察值 y$y$ ，推斷問題變成條件概率密度函數 fX|Y(x|y)fX|Y(x|y)$f_{X|Y}(x|y)$ 的計算問題。

注意到：當觀察到事件 Y=yY=y$Y=y$ 以後，所有的信息都包含在條件概率密度函數 fX|Y(x|y)fX|Y(x|y)$f_{X|Y}(x|y)$ 中，現在只需計算這個條件概率密度函數。利用公式 fXfY|X=fX,Y=fYfX|YfXfY|X=fX,Y=fYfX|Y$f_X{f}_{Y|X}=f_{X,Y}=f_Y{f}_{X|Y}$ 可以得到：

fX|Y(x|y)=fX(x)fY|X(y|x)fY(y)

fX|Y(x|y)=fX(x)fY|X(y|x)fY(y)$$f_{X|Y}(x|y)=\frac{f_X(x)f_{Y|X}(y|x)}{f_Y(y)}$$

這個即所求的公式，與之等價的公式：

fX|Y(x|y)=fX(x)fY|X(y|x)∫+∞−∞fX(t)fY|X(y|t)dt

fX|Y(x|y)=fX(x)fY|X(y|x)∫+∞−∞fX(t)fY|X(y|t)dt$$f_{X|Y}(x|y)=\frac{f_X(x)f_{Y|X}(y|x)}{{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(t)f_{Y|X}(y|t)dt}$$

例子

通用照明公司生產一種燈泡，已知其使用壽命 YY$Y$ 爲指數隨機變量，其概率密度函數爲 λe−λy,y>0λe−λy,y>0$\lambda e^{-\lambda y},y>0$ ，按過往經驗，在任意給定的一天參數 λ$\lambda$ 實際上是一個隨機變量，其概率密度函數爲區間 [1,32]$[1,\frac{3}{2}]$ 上的均勻分佈。現在隨機地取已知燈泡進行試驗，得到燈泡的壽命數據。得到數據以後，對於 λ$\lambda$ 的分佈有什麼新的認識？

將 λ$\lambda$ 看成一個隨機變量 Λ$\mathrm{\Lambda }$ ，作爲對 λ$\lambda$ 的初始認識，那麼根據題意 Λ$\mathrm{\Lambda }$ 的概率密度函數是：

fΛ(λ)=2,1≤λ≤32

$$f_{\mathrm{\Lambda }(\lambda )}=2,1\le \lambda \le \frac{3}{2}$$

當得到數據 y$y$ 以後，關於 Λ$\mathrm{\Lambda }$ 的信息包含於條件概率密度函數 fΛ,y(λ|y)$f_{\mathrm{\Lambda },y}(\lambda |y)$ 中，利用連續貝葉斯公式得到：

fΛ|y(λ|y)=fΛ(λ)fY|Λ(y|λ)∫−∞+∞fΛ(t)fY|Λ(y|t)dt=2λe−λy∫3212te−tydt，1≤λ≤32

$$f_{\mathrm{\Lambda }|y}(\lambda |y)=\frac{f_{\mathrm{\Lambda }}(\lambda )f_{Y|\mathrm{\Lambda }}(y|\lambda )}{{\int }_{+\mathrm{\infty }}^{-\mathrm{\infty }}{f}_{\mathrm{\Lambda }}(t)f_{Y|\mathrm{\Lambda }}(y|t)dt}=\frac{2\lambda e^{-\lambda y}}{{\int }_1^{\frac{3}{2}}2t{e}^{-ty}dt}，1\le \lambda \le \frac{3}{2}$$

關於連續隨機變量的推斷

在許多實際問題中，未觀察到的隨機變量可能是連續的隨機變量。例如，在通信問題中傳輸的信號是一個二進制的信號，經過傳輸以後，混入的噪聲是正態隨機變量，這樣，觀測到的隨機變量就是連續的隨機變量；或者在醫療診斷中，觀察到的量也是連續的測量值，例如：體溫或血液樣本中的指標。這種情況下需要將貝葉斯公式作適當改變。

現在研究一種特殊情況，未觀察到的是一個事件A$A$ 。不知道 A$A$ 是否發生了。事件 A$A$ 的概率 P(A)$P(A)$ 是已知的。設 Y$Y$ 是一個連續的隨機變量，並且假定條件概率密度函數 fY|A(y)$f_{Y|A}(y)$ 和 fY|Ac(y)$f_{Y|A^c}(y)$ 是已知的。令人興趣的是事件 A$A$ 的條件概率密度函數 P(A|Y=y)$P(A|Y=y)$ 。這個量代表得到的觀察值 y$y$ 以後關於事件 A$A$ 的信息。

由於事件 Y=y$Y=y$ 是一個零概率事件，轉而去考慮事件 y≤Y≤y+δ$y\le Y\le y+\delta$ ，其中 δ$\delta$ 是一個很小的正數，然後令 δ$\delta$ 趨於0 。利用貝葉斯公式，令 fY(y)>0$f_Y(y)>0$ ，我們得到：
P(A|Y=y)≈P(A|y≤Y≤y+δ)=P(A)P(y≤Y≤y+δ|A)P(y≤Y≤y+δ)≈P(A)fY|A(y)δfY(y)δ=P(A)fY|A(y)fY(y)

$$\begin{array}{rcl}P(A|Y=y)& \approx & P(A|y\le Y\le y+\delta )\\ & =& \frac{P(A)P(y\le Y\le y+\delta |A)}{P(y\le Y\le y+\delta )}\\ & \approx & \frac{P(A)f_{Y|A}(y)\delta }{f_Y(y)\delta }\\ & =& \frac{P(A)f_{Y|A}(y)}{f_Y(y)}\end{array}$$

利用全概率公式，可將上式的分母寫成：
fY(y)=P(A)fY|A(y)+P(Ac)fY|Ac(y)

$$f_Y(y)=P(A)f_{Y|A}(y)+P(A^c)f_{Y|A^c}(y)$$

這樣得到：
P(A|Y=y)=P(A)fY|A(y)P(A)fY|A(y)+P(Ac)fY|Ac(y)

$$P(A|Y=y)=\frac{P(A)f_{Y|A}(y)}{P(A)f_{Y|A}(y)+P(A^c)f_{Y|A^c}(y)}$$

現在令事件 A​$A$ 具有形式 {N=n}​$\{N=n\}$ ，其中 N​$N$ 是一個離散的隨機變量，代表未觀察到的隨機變量。記 pN​$p_N$ 爲 N​$N$ 的分佈函數。令 Y​$Y$ 爲連續隨機變量，對任意 N​$N$ 的取值 n​$n$ ，Y​$Y$ 具有條件概率密度函數 fY|N(y|n)​$f_{Y|N}(y|n)$ 。 這樣上面的公式變成 ：
P(N=n|Y=y)=pN(n)fY|N(y|n)fY(y)

$$P(N=n|Y=y)=\frac{p_N(n)f_{Y|N}(y|n)}{f_Y(y)}$$

利用下面的全概率公式：
fY(y)=∑ipN(i)fY|N(y|i)

$$f_Y(y)=\sum _i{p}_N(i)f_{Y|N}(y|i)$$

得到：
P(N=n|Y=y)=pN(n)fY|N(y|n)∑ipN(i)fY|N(y|i)

$$P(N=n|Y=y)=\frac{p_N(n)f_{Y|N}(y|n)}{\sum _i{p}_N(i)f_{Y|N}(y|i)}$$

例子-信號檢測

設 S$S$ 是一個只取2個值的信號（signal）。記 P(S=1)=p$P(S=1)=p$ 和 P(S=−1)=1−p$P(S=-1)=1-p$ 。在接收端，得到的信號爲 Y=N+S$Y=N+S$ ，其中 N$N$ 是一個正態分佈的噪聲（noise），期望爲0，方差爲1，並且與 S$S$ 相互獨立。當觀察到的信號爲 y$y$ 的時候，S=1$S=1$ 的概率是多少？

對於給定的 S=s=1,Y$S=s=1,Y$ 是一個正態隨機變量，期望爲 s=1$s=1$ ，方差爲 1$1$ 。應用剛纔得到的公式：
P(S=1|Y=y)=pS(1)fY|S(y|1)fY(y)=p√2πe−(y−1)22p√2πe−(y−1)22+1−p√2πe−(y+1)22

$$P(S=1|Y=y)=\frac{p_S(1)f_{Y|S}(y|1)}{f_Y(y)}=\frac{\frac{p}{\sqrt{2\pi }}{e}^{-\frac{(y-1{)}^2}{2}}}{\frac{p}{\sqrt{2\pi }}{e}^{-\frac{(y-1{)}^2}{2}}+\frac{1-p}{\sqrt{2\pi }}{e}^{-\frac{(y+1{)}^2}{2}}}$$

將上式化簡得：
P(S=1|Y=y)=peypey+(1−p)e−y

$$P(S=1|Y=y)=\frac{p{e}^y}{p{e}^y+(1-p)e^{-y}}$$

注意：當 y→−∞,P(S=1|Y=y)→0$y\to -\mathrm{\infty },P(S=1|Y=y)\to 0$ ，當 y→∞,P(S=1|Y=y)→1$y\to \mathrm{\infty },P(S=1|Y=y)\to 1$ 。 y$y$ 在實數軸上變化時， P(S=1|Y=y)$P(S=1|Y=y)$ 是 y$y$ 的嚴格上升函數，這符合直觀的理解。

基於離散觀察值的推斷

在前文連續隨機變量的貝葉斯公式中得到的：
P(A|Y=y)≈P(A|y≤Y≤y+δ)=P(A)P(y≤Y≤y+δ|A)P(y≤Y≤y+δ)≈P(A)fY|A(y)δfY(y)δ=P(A)fY|A(y)fY(y)

$$\begin{array}{rcl}P(A|Y=y)& \approx & P(A|y\le Y\le y+\delta )\\ & =& \frac{P(A)P(y\le Y\le y+\delta |A)}{P(y\le Y\le y+\delta )}\\ & \approx & \frac{P(A)f_{Y|A}(y)\delta }{f_Y(y)\delta }\\ & =& \frac{P(A)f_{Y|A}(y)}{f_Y(y)}\end{array}$$

反解得到：
fY|A(y)=fY(y)P(A|Y=y)P(A)

$$f_{Y|A}(y)=\frac{f_Y(y)P(A|Y=y)}{P(A)}$$

根據歸一性（∫+∞−∞fY|A(y)dy=1​${\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_{Y|A}(y)dy=1$ ），那麼得到一個等價的表達式：
fY|A(y)=fY(y)P(A|Y=y)∫+∞−∞fY(t)P(A|Y=t)dt

$$f_{Y|A}(y)=\frac{f_Y(y)P(A|Y=y)}{{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_Y(t)P(A|Y=t)dt}$$

這個公式可以用於當事件 A$A$ 被觀測到時候，對隨機變量 Y$Y$ 進行推斷。對於事件 A$A$ 是 {N=n}$\{N=n\}$ 的形式，根據前文：
P(N=n|Y=y)=pN(n)fY|N(y|n)∑ipN(i)fY|N(y|i)

$$P(N=n|Y=y)=\frac{p_N(n)f_{Y|N}(y|n)}{\sum _i{p}_N(i)f_{Y|N}(y|i)}$$

得到一個相似的公式對隨機變量 Y$Y$ 進行推斷：
fY|N(y|n)=P(N=n|Y=y)∑ipN(i)fY|N(y|i)pN(n)

$$f_{Y|N}(y|n)=\frac{P(N=n|Y=y)\sum _i{p}_N(i)f_{Y|N}(y|i)}{p_N(n)}$$

總結

令 Y$Y$ 爲連續隨機變量。

1. 若 X$X$ 爲連續隨機變量，則有：
   fX|Y(x|y)fY(y)=fX(x)fY|X(y|x)

   $$f_{X|Y}(x|y)f_Y(y)=f_X(x)f_{Y|X}(y|x)$$
   
   和
   fX|Y(x|y)=fX(x)fY|X(y|x)fY(y)=fX(x)fY|X(y|x)∫+∞−∞fX(t)fY|X(y|t)dt
   $$f_{X|Y}(x|y)=\frac{f_X(x)f_{Y|X}(y|x)}{f_Y(y)}=\frac{f_X(x)f_{Y|X}(y|x)}{{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(t)f_{Y|X}(y|t)dt}$$

2. 若 N$N$ 爲離散隨機變量，則有：
   fY(y)P(N=n|Y=y)=pN(n)fY|N(y|n)

   $$f_Y(y)P(N=n|Y=y)=p_N(n)f_{Y|N}(y|n)$$
   
   得到貝葉斯公式爲：
   P(N=n|Y=y)=pN(n)fY|N(y|n)fY(y)=pN(n)fY|N(y|n)∑ipN(i)fY|N(y|i)
   $$P(N=n|Y=y)=\frac{p_N(n)f_{Y|N}(y|n)}{f_Y(y)}=\frac{p_N(n)f_{Y|N}(y|n)}{\sum _i{p}_N(i)f_{Y|N}(y|i)}$$
   
   和
   fY|N(y|n)=fY(y)P(N=n|Y=y)pN(n)=fY(y)P(N=n|Y=y)∫+∞−∞fY(t)P(N=n|Y=t)dt
   $$f_{Y|N}(y|n)=\frac{f_Y(y)P(N=n|Y=y)}{p_N(n)}=\frac{f_Y(y)P(N=n|Y=y)}{{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_Y(t)P(N=n|Y=t)dt}$$

3. 對於事件 A​$A$ ，關於 P(A|Y=y)​$P(A|Y=y)$ 和 fY|A(y)​$f_{Y|A}(y)$ 具有類似的貝葉斯公式。