機器學習數學基礎之微積分與概率論

（本文爲學習總結筆記，如有雷同請無視）

1. 導數與梯度下降

1.1 方向導數

梯度下降法會引起局部最優值的可能。

1.2 在機器學習的應用

1、初始化一個w值
2、傳入數據集，進行對w的調整
3、最後輸出一個最優的w，解決了識別的任務（有可能是局部最優）

2. 基本概率論

人工智能主要對識別的結果進行概率分析，根據概率最大的結果進行輸出。概率論在人工智能中的應用非常重要。

2.1 條件概率

$P(A|B)=\cfrac{P(AB)}{P(B)}$

2.2 全概率公式

$P(A)=\sum\limits_{i}P(A|B_i)P(B_i)$

2.3 貝葉斯公式

當直接進行求解時比較複雜，則使用貝葉斯公式進行轉換求解：
$P(A|B)=\cfrac{P(B|A)P(A)}{P(B)}$

2.4 隨機變量

2.5 期望

2.6 方差

3. 分佈

3.1 伯努利分佈

3.2 二項分佈

二項分佈是重複N次的伯努利分佈,伯努利分佈是指試驗結果爲:0,1,其中一個概率爲p,另一個概率爲1-p; 而二項分佈是指進行n次伯努利分佈試驗,1或0 的出現k次的概率;簡單理解,就是伯努利分佈是隻進行一次試驗求概率,而二項分佈是進行次數大於1次。

3.3 高斯分佈

3.4 泊松分佈

舉例: