【Mark】概率論與數理統計

• 鏈接 概率論與數理統計BV15t411D7G1.
• 鏈接 知乎大佬筆記.

概率論的基本概念

---

• 隨機試驗
• 樣本空間、隨機事件
• 頻率與概率
• 等可能概型
• 條件概率
• 全概率公式與貝葉斯公式
• 事件獨立性

什麼是概率統計？

• 必然現象的確定性規律
  隨機現象雖然存在不確定性，但還是存在一定規律的 (即 統計規律)

自測標準：

• 是否對 隨機 有足夠認識
  是否對 數據 有興趣、有感覺

自然界現象：確定現象，隨機現象
試驗，不同於實驗 範圍比較廣
隨機試驗，用 E 表示

• 性質：1.可重複，2.可觀察 (結果不止一個，且知道S)，3.不確定
  我們通過隨機試驗來研究隨機現象

樣本空間，用 S 表示
E 的所有可能結果組成的集合

• S 中的元素是樣本點，每次試驗只有一個樣本點

隨機事件，S 的子集，通常用 A、B、C 表示

• 事件發生: A 中的一個樣本點出現，事件 A 發生
  必然事件，就是 S
  不可能事件，就是空集 Φ
  基本事件，其集合中只包含了一個樣本點

事件的關係與運算

• 包含、相等
  和事件，至少有一個發生，或、∪、+
  積事件，同時發生，且、∩、×
• 互斥、逆、差
  互斥事件，A、B不同時發生，沒有交集（不相容）
  對於不相容的事件，P(A+B) = P(A) + P(B)
  互逆事件，A與A非
  差事件，A發生B不發生，A - B
• 獨立與互斥不同，若AB相互獨立，P(AB) = P(A) × P(B)
  A - B = (A + B) - B = A - AB
  因爲事件本身就是一個集合，所以滿足集合的所有運算定律

頻率，通過實驗結果來說明事件發生的頻繁程度
特徵：隨着實驗次數n增加，頻率會具有穩定性，即 f_n(A)趨於一個穩定值 p

概率，刻畫隨機事件在一次試驗中發生可能性大小的數，即 p (概率的統計性定義)
P(A)，A 事件發生的概率
概率的公理化定義：

• 非負性 P(A) >= 0
• 規範性 P(S) = 1
• 可列可加性 若A₁ A₂ …兩兩互斥，則P(A₁+ A₂ …) = P(A₁)+P(A₂)+…

可推出 P(B - A) = P(B) - P(AB) 性質4

加法公式：奇數個求和，偶數個求差

• P(A U B) = P(A) + P(B) - P(AB) 20.2.17
  若A、B 不相容，則P(A U B) = P(A) + P(B)
  所以計算 A 和 B 至少一個發生的概率需要先知道二者之間的關係

等可能概型 (古典概型) 基本的概率模型
特徵：

• 樣本空間中樣本點是有限的 (有限性 )
• 出現每一個樣本點的概率相等 (等可能性)

古典概型中主要就是數數了，怎麼把數給數對？
排列組合
組合數，Combination 排列數，Arrangement
鏈接：關於排列組合.


計算：共 m 項，從 n 開始遞減，計算組合數C時除 m! 即可
抽樣方法說明：
1.不放回抽樣 2.放回抽樣

不考慮順序的話，用組合數 隱藏

條件概率

• P(B | A) 表示在A發生的前提下，B發生的概率
  樣本空間由 S 縮小爲 A
  定義：P(B|A) = P(AB) / P(A) 其中P(A)大於0
  乘法公式：P(AB) = P(B|A) × P(A)
  事件ABC…同時發生的概率 = P(A) × P(B|A) × P(C|AB)… 20.2.24
  若A、B相互獨立，則P(AB) = P(A) × P(B)
• 抽籤問題
  一般地，袋中有 a 只白球，b 只紅球，k 個人依次在袋中取 1 球，
  則不論放回還是不放回，第 i 個人取到白球的概率爲 a / (a + b)

全概率公式 (全概型)

• 用全概率公式時，關鍵是 構造一個合適的劃分
  定義 B₁ ~ B_n 互不相交，且並集爲 S；稱爲 S 的一個劃分 (完備事件組)
  定理 P(A) = P(B₁)P(A|B₁) + … + P(B_n)P(A|B_n)
  注：全概率公式是概率論的一個基本公式.
  直接計算 P(A) 不易時，可構造一個劃分 B₁ … B_n，利用這個公式來計算P(A).

Bayes公式 (貝葉斯概型)

• 在 A 已經發生的情況下，求 B_i 發生的概率 （後驗概率）
  執果索因
  其中 利用全概率公式求得P(A) 做公式分母
  

獨立性

• 若 P(AB) = P(A)P(B) ，則 A 與 B 相互獨立
  A事件發生與否 對 B事件發生的概率 完全無影響 例如:下雨
  相互獨立與互不相容完全不同 20.3.9
  A、B、C 兩兩獨立無法推出 A、B、C 相互獨立
• 實際問題中，常根據實際情形判斷事件獨立性
  一旦判斷事件獨立，計算概率時儘可能用事件的乘積

小概率事件

• 實際推斷原理，概率很小的事件在一次試驗中幾乎是不可能發生的
  小概率事件在大量獨立重複試驗中 至少發生一次 幾乎是必然的
• 千萬不能輕視小概率事件

隨機變量及其分佈

---

• 隨機變量
• 離散型隨機變量及其分佈律
• 隨機變量的分佈函數
• 連續型隨機變量及其概率密度
• 均勻分佈，指數分佈，正態分佈
• 隨機變量的函數的分佈

隨機變量，將隨機試驗的結果數量化

• 名爲變量，實際上是一種函數
  X(e): S → R 的映射
  自變量 e 具有隨機性，線上的一個點
  用某一變量取得各種不同的數值來描述隨機試驗的結果（更方便表達）
  簡寫爲 X、Y、Z
• 分兩類：離散型 和 連續型

離散型隨機變量

• X 的取值有限個或可數個，則 X 爲離散型隨機變量
• 可數集 (可列集)：其中的元素是可以被數到的，只要肯花時間
  不可數集：[0, 1]

離散型隨機變量的概率分佈律

• 簡稱分佈律，又稱概率分佈，常用表格表示
  內容包括：隨機變量的所有可能取值 + 每個取值對應的概率
  另一種表示形式：P(X = x_k) = p_k

幾何分佈
P(X = k) = (0.8)^k-1 • 0.2，k = 1,2,3…

常見的離散型隨機變量：

• 最簡單的 退化分佈 P(X = c) = 1
• 0-1分佈 (兩點分佈)，X ~ B(1, p)
  只有兩個可能結果的試驗，貝努利試驗 (Bernoulli)
  樣本空間只包含兩個元素
  或僅考慮事件 A 發生與否
  n重貝努利試驗中 A 發生的次數 X
  P(X = k) = C_n^k p^k(1 - p)^n-k
  此時稱 X 服從 參數爲 n, p 的二項分佈，X ~ B(n, p)
• 泊松分佈 (Poisson)

若概率分佈已知，則隨機變量對應的樣本空間的任一隨機事件概率可求出
離散型隨機變量的分佈函數是階梯函數，跳躍點處的跳躍度就是該點概率

二項分佈，將兩種可能結果的試驗 獨立重複 n 次

概率分佈函數，F(x) = P(X ≤ x)，線上的一段區域，X 落入(-∞, x] 的概率
單調不減，值域 (0 ~ 1) (右連續函數)
可以定義任何隨機變量

連續型隨機變量，一定有一個概率密度函數 f(t)

• 此函數非負，單點取值概率爲0，區間開閉無影響，f(t)值可以大於1
  當其鄰域 △x 足夠小時， f(x) 與 △x 的乘積表示落在 x 點左右的概率

• 概率分佈律，連續的隨機變量有概率密度函數

泊松定理，泊松分佈表，X ~ π(λ)，參數爲 λ 的泊松分佈

• 描述某段時間內，事件具體發生的概率
  實際工作中，λ >= 20 即可用正態分佈來處理
  
  其中 t = 時間，n = 數量，λ = 事件發生的頻率

均勻分佈，X ~ U(a, b)，其概率密度函數 f(t) 值恆等於 區間長度分之一，其餘值爲0

• 可簡單理解爲：均勻分佈具有等可能性
  計算概率時，可以用有效(範圍內)區間長度 / 區間長度 簡單計算
• 其分佈函數F(x)，落入a之前的概率P(x<a) = 0，落入ab之間的概率爲 x - a / b - a，落入b之後的概率爲1

指數分佈，X ~ E(λ)，無記憶性，f(x) = λe^-λx

正態分佈，X ~ N(μ, σ)，又叫高斯分佈、誤差分佈，高斯在研究誤差的時候發現了正態分佈

• σ 大於 0，關於 μ 對稱，對稱軸 μ 稱爲位置參數
• σ 稱爲尺度參數，σ越小，越瘦長 (分散程度)
• 多個隨機變量的和遵循正態分佈 (中心極限定理)
• f(x) 的積分是積不出來的，轉化爲標準正態，然後用標準正態分佈表來求
  

標準正態分佈，Z ~ N(0, 1)

鏈接 泊松分佈&指數分佈.

多維隨機變量及其分佈

---

• 二維隨機變量，離散型隨機變量分佈律
• 邊緣分佈
• 條件分佈
  • 離散型隨機變量邊際分佈律與條件分佈律
  • 二元隨機變量分佈函數，邊際分佈函數與條件分佈函數
• 二元連續型隨機變量，聯合概率密度
  • 邊際概率密度
  • 條件概率密度
• 二元均勻分佈，二元正態分佈(期末不考)
• 相互獨立的隨機變量
• 兩個隨機變量的函數的分佈
  • Z = X + Y的分佈
  • max(X, Y)、min(X, Y)的分佈

二元隨機變量，二維隨機變量

• 由線上的點轉換成了平面上的點
• 離散型，有限對或可列無窮對

聯合概率分佈律，表格，P_ij

• X、Y 所有可能的取值，列出的表格
• 離散型分佈函數的跳躍點處的跳躍值 可直接得出 邊際分佈律
• 對於該表格，若X、Y相互獨立，則對應點的概率等於邊際分佈律之積

邊際分佈律 P(X = x_i)，P_i•

• 當 X 確定爲 x_i 時對應的 所有的 Y 的概率之和
• 僅由邊際分佈律一般不能得到聯合分佈律

條件分佈律，Y = y_j，條件已知，能寫出很多

• 例：求 P(X = x_i | Y = y_j)，即 P_ij / P_·j，確定點的概率 / 條件滿足的所有概率之和

聯合分佈函數，F(x, y) = P(X ≤ x, Y ≤ y)，座標系中點(x, y)的左下平面，X，Y 落入該區域的概率

• 關於 x，y 單調不減，右連續
  比一元多的性質：x₁ x₂ y₁ y₂ 圍成的矩形區域，概率就是2，2減去1，2和2，1，加上重複減去的1，1

邊際分佈函數，令 x 趨於＋∞，得 Y 的邊際函數 F_Y(y)，即 F(+∞, y)

• 聯合概率分佈在平面直角座標系中比較好想
• X、Y 其一趨於 ∞ 時，就是將對應的邊延伸至無窮大，僅此而已

條件分佈函數，前提 y 點概率 > 0，否則無意義 (這又是一個極小的鄰域)

• 對於離散型的，y 點概率大於零即可，根據聯合分佈律寫出條件分佈律，再寫出條件分佈函數
• 對於連續型的，Y 在 y 極小鄰域範圍，仍記作 Y = y

聯合概率密度(函數)，f(x, y)，以 xoy 平面爲底的體積爲 1 的頂曲面

• 其二重積分爲聯合分佈函數，值即概率
• 同樣的極小鄰域 △x，△y，f(x, y) 與 △x△y 的乘積表示落在 (x, y) 點左右的概率
• 對於連續點(x, y)，F(x, y) 的二階偏導 = f(x, y)

邊際概率密度(函數)，求 F_Y(y)，對 x 在(-∞, +∞)上積分

條件概率密度，指定的條件，聯合概率密度 / 邊際概率密度

二元均勻分佈，在面積爲 A 的區域 D 中，有 f(x, y) = 1 / A，其餘爲 0
二元正態分佈，(X，Y) ~ N(μ₁, μ₂, σ₁², σ₂², ρ) 概率密度式子不好寫。。，鐘形圖 (這兩個不考)

• 二元正態分佈的兩個邊際分佈都是一元正態分佈，且都不依賴 ρ
• 條件分佈仍是正態分佈，依賴 ρ

隨機變量的獨立性

• 定義：若分佈函數 = 邊際函數之積，則 X、Y 相互獨立
• 離散型：P_ij = P_i· P_·j ，分佈律判斷，需檢驗所有等式，一對不等即可判斷不獨立
• 連續型：f(x, y) = f(x)f(y)，密度函數判斷，
  若獨立，則可分解爲 x 的函數與 y 的函數的乘積(反之不成立)

隨機變量函數的分佈，對應一元的函數的分佈

隨機變量的數字特徵

---

• 數學期望
• 方差
• 協方差及相關係數
• 矩、協方差矩陣

數學期望，就是平均值

隨機變量的數學期望

• 離散型隨機變量 X，期望 E(X) = ∑ x_k p_k 累加和，前提 級數收斂
  推的過程：1/n · ∑ x_k·n_k = ∑ x_k·n_k/n = ∑ x_k·f_k，f_k 頻率 穩定值爲 p_k
  p_k 也可理解爲加權平均中的權重
• 連續型隨機變量 X，期望 E(X) = ∫ xf(x)dx 在(-∞, +∞)上積分
• 參數爲 λ 的泊松分佈的數學期望就是 λ
• 參數爲 μ σ 的正態分佈，數學期望爲 μ
• 參數爲 λ 的指數分佈，數學期望爲 1/λ
• 參數爲 n p 的二項分佈，數學期望爲 n·p
• 參數爲 p 的幾何分佈，數學期望爲 1/p

隨機變量函數的數學期望

• 計算 E(Y) 時，不必算出 Y 的分佈律或 f(Y)，
  只需利用 X 的分佈律或概率密度 以及 Y 和 X 之間的關係就可以了，同理推廣至二元
  懶人定理 the Rule of the Lazy Statistacian
• 離散型，Y = g(X)，E(Y) = E[ g(X) ]
• 連續型，E(Y) = E(g(X)) = ∫_-∞^+∞ g(x)f(x)dx

數學期望的性質

• E(aX + bY + c) = aE(X) + bE(Y) + c
• E(XY) = E(X) E(Y)，X、Y相互獨立

方差

• 離差：X - E(X)，平均離差 E[ X - E(X) ] = 0
• 方差：E{ [ X - E(X) ]²}，記作 D(X) 或 Var(X)
  計算方差，通常用法：D(X) = E(X²) - [E(X)]²
• 標準差、均方差：方差開根號，記作 σ(X)，刻畫 X 取值的波動性，衡量 X 取值的分散程度

方差的性質

• 常數方差 = 0，反之方差爲 0，說明取值恆定爲 c，E(X) = c
• D(cX) = c²D(X)
• D(X + Y) = D(X) + D(Y) + 2·tail，tail = E{[X-E(X)]·[Y-E(Y)]}，當X、Y相互獨立時，tail = 0
• D(X + c) = D(X)，等價於平移，波動性不變

常見

• 參數爲 n，p 的二項分佈B(n, p)，E(X) = np，D(X) = np(1-p)
• 參數爲 μ σ 的正態分佈N(μ, σ²)，E(X) = μ，D(X) = σ²
• n 個獨立正態隨機變量，線性組合仍服從正態分佈

協方差，是一個有量綱的數字特徵 (量綱就是單位)

• 就是上面的 tail，記作 Cov(X, Y)
  tail ≠ 0 證明 X、Y 不相互獨立
  tail > 0，稱 X 與 Y 正相關
  tail < 0，負相關
  tail = 0，不相關
• 將其乘開再化簡，得 tail = E(XY) - E(X)E(Y)，即協方差計算公式

協方差性質

• 代入 tail 可得證
• XY可互換，無影響
• Y = X，tail = D(X)
• Cov(aX, bY) = ab·Cov(X, Y)
• Cov(X₁ + X₂, Y) = Cov(X₁, Y) + Cov(X₂, Y)

相關係數，爲消除量綱的影響 (表示線性關係密切程度)

• ρ_XY = Cov(X, Y) / √D(X)·D(Y)
• 性質：ρ_XY 屬於 (-1, 1)
  |ρ_XY| = 1 時，當且僅當X、Y之間有嚴格的線性關係

不相關，本質意思就是 X、Y 無線性關係 (獨立：二者沒有關係)

• ρ_XY = 0，不相關，等價條件 tail = 0 以及 E(XY) = E(X)E(Y)
• 獨立則不相關，反之不然

矩陣暫時瞭解，記 n 元正態隨機變量的四條重要性質

• n 元正態隨機變量，是一個向量，其任意子向量均服從 k 元正態分佈
• 充要條件，其中元素 X₁ X₂ …任意線性組合均服從 1 元正態分佈
• 正態變量的線性變換不變性
• X₁ X₂ … 相互獨立 <=> X₁ X₂ …兩兩不相關 <=> 協方差矩陣爲對角矩陣 (唯對角線非0)

大數定律及中心極限定理

---

• 大數定律
• 中心極限定理

依概率收斂

• 對於 隨機變量序列 Y₁ Y₂ …，n 趨於正無窮時，P{ |Y_n - c| ≧ ε } = 0
  稱 隨機變量序列{Y_n, n ≧ 1} 依概率收斂於 c

切比雪夫不等式 Chebyshev，適用範圍廣，結果比較粗糙

貝努裏大數定律：頻率依概率收斂於概率
告訴我們，可以通過大量的獨立重複實驗來確定事件的概率

大數定律 Laws of Large Numbers

• 隨機變量序列依概率收斂於 μ，當 E(X_i) 都相同時，μ = E(X_i)

切比雪夫大數定律的推論

• 前提：X_i相互獨立，期望都爲 μ，方差都爲 σ²
• 算術平均依概率收斂到 μ

辛欽大數定律

• 前提：X_i 獨立同分布
• 算術平均依概率收斂到 μ

獨立同分布的中心極限定理 CLT

德莫弗-拉普拉斯中心極限定理

解題步驟

• 先根據中心極限定理，將正態分佈寫出，然後套用公式得出答案.

樣本及抽樣分佈

---

• 隨機樣本
• 直方圖和箱線圖
• 抽樣分佈

定義

• 總體，全體
• 個體，全體中的一個
• 容量，總體中個體的數目
• 有限總體的容量足夠大時可看作無限總體
• 樣本，總體的子集，本書中皆指簡單隨機樣本
  簡單隨機樣本的特點：獨立同分布
  如何得到該樣本：放回抽樣 (無限總體用不放回)
• 樣本觀測值，每次觀測樣本得到的樣本值不一樣
• 提取有效信息，構造統計量
• 常用統計量：樣本均值，樣本方差(1/(n-1))，樣本矩
• 注：樣本均值 x拔 ≠ 總體均值 μ
• 統計量的分佈叫做抽樣分佈
• 抽樣分佈有三個比較重要的：卡方分佈，t分佈，f分佈；(除正態分佈外)

上α分位點，即該點右側的概率爲α（面積爲α），該數值需查表
隨機變量大於這個數的概率 = α

卡方 χ²，多個服從 N(0,1) 的隨機變量的平方和
自由度，指隨機變量的個數
χ² ~ χ²(n)
E(X) = n，D(X) = 2n
可加性：Y₁+Y₂ ~ χ²(n₁+n₂)
對一般的正態分佈X，標準化 Y_i = (X_i - μ)/σ
χ² = Y_i² 的累加和

t分佈
T ~ t(n)
就是 T = X / (√Y/n) ，其中Y ~ χ²(n)，X服從標準正態 N(0, 1)
即自由度爲 n 的 t 分佈
n趨於+∞時的 t 分佈，就是標準正態分佈

F分佈
F ~ F(n₁, n₂)，自由度爲 n₁，n₂ 的 F 分佈
1/F ~ F(n₂, n₁)
就是 F = (X/n₁) / (Y/n₂)，其中X ~ χ²(n₁)，Y ~ χ²(n₂)
上α分位點：F_1-α(n₁, n₂) = 1 / F_α(n₂, n₁)

正態總體的樣本均值與樣本方差的分佈
X拔 ~ N(μ, σ²/n)
E(S²) = σ²

鏈接 t分佈, 卡方x分佈，F分佈.

參數估計

---

• 點估計
• 基於截尾樣本的極大似然估計
• 估計量的評選標準
• 區間估計
• 正態總體均值與方差的區間估計
• 0-1分佈參數的區間估計
• 單側置信區間

---

P72