西瓜書學習——第三章 線性模型

基本形式

給定由 d 個屬性描述的示例 x = (X1; X2; … ; Xd) ， 其中 Xi 是 X 在 第 i 個屬性上的取值，線性模型 (linear model)試圖學得一個通過屬性的線性組合來進行預測的函數：

向量形式：

線性迴歸

“線性迴歸” (linear regression)試圖學得一個線性模型以儘可能準確地預測實值輸出標記.

即找到一條直線來區分樣本，找到ω 和 b 來衡量 f(x) 與 u 之間的差別，因此我們可試圖讓均方誤差最小化：

ω 和 b 值的確定推導過程如下：

我們也可將輸出標記的對數作爲線性模型逼近的目標， 即$lny=w^Tx+b$，即對數線性迴歸，我們試圖讓
$e^ (w^T+b)$逼近y，示意圖如下：

更一般地，我們講對數函數考慮成一般函數$g(.)$,令

這樣得到的模型稱爲廣義線性模型.

對數機率迴歸

我們用到一種$sigmoid$函數對數機率函數$y=\frac{1}{1+e^{-z}}$將 z 值轉化爲一個 0 或 1 的 $y$ 值，將
$y=\frac{1}{1+e^{-{w^T+b}}}$代入得：

這時我們將 $y$ 視爲類後驗概率估計 $p(y=1|x)$ 則上式可變成

利用條件概率公式$p(A|B)=\frac{p(AB)}{p(B)}$可得：

我們利用最大似然估計來估計ω 和 b：我們令 $\beta=(w;b)$

最後我們得到 $\beta$ 第 $t+1$ 輪迭代的更新公式爲：

線性判別分析

線性判別分析(簡稱LDA)是一種經典的線性學習方法，思想如下：給定訓練樣例集，設法將樣例投影到一條直線上，使得同類樣例的投影點儘可能接近，異類樣例的投影點儘可能遠離；在對新樣本進行分類時，將其投影到同樣的這條直線上，再根據投影點的位置來確定新樣本的類別.