數學-機器學習-基礎-概率-高斯分佈

二 數學基礎-概率-高斯分佈

2.1 思維導圖簡述

數學基礎-高斯分佈思維導圖

2.2 內容

2.2.1 高斯分佈的最大似然估計

A 已知

數據條件：$x_{i}$是$p*1維$的列向量，代表一組數據。$X$是N*p維矩陣，表示N組數據。

高斯分佈：
一維高斯分佈（以一維高斯分佈爲例）

多維高斯分佈

B 求最大似然估計MLE

C 解

D 收穫

最大似然估計MLE: maximum likelihood estimation，由高斯提出，R.A Fisher發揚光大。

MLE就是求使概率P(X|θ)取得最大值的θ是多少：

P(X|θ)是什麼，P(X|θ)是指在θ發生時，X發生的概率

不同的參數θ發生，會使得P(X|θ)的值不一樣，當已知某個參數θ就使這個樣本出現的概率最大，我們當然不會去選其他參數，所以乾脆就選這個θ啦

2.2.2 高斯分佈的最大似然估計無偏和有偏性

背景

高斯分佈最大似然估計中，均值估計是無偏的，方差估計是有偏的。

A 已知：

B 求

最大似然估計的均值：$\mu _{MLE}$

最大似然估計的方差：$\sigma _{MLE}^2$

C 解

D 收穫

高斯分佈最大似然估計中，均值估計是無偏的，方差估計是有偏的。

2.2.3 從概率密度角度觀察高斯分佈

背景

結論

從不一樣的概率角度觀察和分析高斯分佈。發現

二維高斯分佈可以用平面上的不同的橢圓曲線來表達。

基礎

PDF：probability denstiy function 概率密度函數

馬氏距離：

歐式距離：馬氏距離Σ=1就是歐式距離

A 已知

多維高斯分佈的PDF爲：

其中，$x \in {R^p}{\rm{,r}}{\rm{.v}}$

B 求

多維高斯分佈的PDF中，只有x是自變量，$\mu和\Sigma$均是參數。

根據多維高斯分佈PDF，求出多維高斯分佈的數學表現形式。

C 解

2.2.4 高斯分佈的侷限性

A 侷限性

1. 方差陣Σ是一個p*p維的對稱矩陣，太難求了，計算量太大

Σ的參數個數是(p*p-p)/2+p = (p*p+p)/2 = O(p^2)。

通過將Σ設置爲對角矩陣可以緩解計算量

2. 只能處理，假設整個模型是高斯分佈，但僅用一個高斯分佈無法表達模型

GMM中提出混合模型

B 完整過程

2.2.5 求高斯分佈的邊緣概率以及條件概率

2.2.6 求高斯分佈的聯合概率分佈

2.3 問題

2.3.1 目前還無法完整脫稿推出高斯分佈的全部特點。

【待完善推導】

參考資料

[1] shuhuai008. 【機器學習】【白板推導系列】【合集 1～23】. bilibili. 2019.
https://www.bilibili.com/video/BV1aE411o7qd?p=1

[2] 從概率密度角度觀察高斯分佈手稿