概率論：其關注的焦點是無處不在的可能性
概率分類
古典概率
使用公式通俗表示，即爲
條件概率
條件概率（conditional probability）是根據已有信息對樣本空間進行調整後得到的新的概率分佈。假定有兩個隨機事件A和B，條件概率就是指事件A在事件B已經發生的條件下發生的概率，用以下公式表示
P(AB)： 聯合概率（joint probability），表示的是A和B兩個事件共同發生的概率
基於條件概率可以得出全概率公式（law of total probability）。全概率公式的作用在於將複雜事件的概率求解轉換爲不同情況下發生的簡單事件的概率求和，即
全概率公式代表了頻率學派解決概率問題的思路，即先做出一些假設P(Bi)，再在這些假設下討論隨機事件的概率P(A|Bi).
知識小課堂
貝葉斯公式其實解決的就是“逆概率”問題，由於指套理論首先由英國牧師托馬斯.貝葉斯提出，因爲其通用公式稱爲貝葉斯公式
貝葉斯定理
P(H)：先驗概率，即預先設定的假設成立的概率
P(D | H)：似然概率，是在假設成立的前提下觀測到結果的概率
P(H | D)：後驗概率，即在觀測到結果的前提下假設成立的概率。
從科學研究的方法論來看，貝葉斯定理提供了一種全新的邏輯。它根據觀測結果尋找合理的假設，或者說根據觀測數據尋找最佳的理論解釋，其關注的焦點在於後驗概率。概率論的貝葉斯學派正是誕生於這中理念。
學派劃分
頻率學派
頻率學派認爲假設是客觀存在且不會改變的，即存在固定的先驗分佈，只是作爲觀察者的我們無從知曉，因而在計算時間的概率時，要先確定概率分佈的類型和參數，以此爲基礎進行概率推演。
貝葉斯學派
貝葉斯學派則認爲固定的先驗分佈是不存在的，參數本身也是隨機數。換言之，假設本身取決於觀察結果，是不確定並且可以修改的。數據的作用就是對假設做出不斷的修正，使觀察者對概率的主觀認識更加接近客觀實際。
概率估計方式
概率的估計有兩種方法：最大似然估計法（maximum likelihood estimation）和最大後驗概率法（maximum a posteriori estmation），兩者分別體現出頻率學派和貝葉斯學派對概率的理解方式。
最大似然估計法
最大似然估計的思想是是訓練數據出現的概率最大化，依次確定概率分佈中的未知參數，估計出的概率分佈也就最符合訓練數據的分佈。
最大後驗概率法
最大後驗概率法的思想是根據訓練數據和已知的其他條件，使未知參數出現的可能性最大化，並選取最可能的未知參數作爲估計值。
在估計參數時，最大似然估計法只需要使用訓練數據，最大後驗法除了數據外還需要額外的信息，這就是貝葉斯公式中的先驗概率。
參考文章
1，訂閱極客時間專欄《人工智能基礎課》
