機器學習-邏輯迴歸

機器學習-邏輯迴歸

本博客只是當作自己的筆記，貼上一篇本人蔘考的博客，寫的非常好
log. csdn.net/han_xiaoyang/article/details/49123419

$
誰能告訴我csdn的latex公式怎麼顯示的這奇怪呢，寫博客的預覽還很漂亮，發佈後就很奇怪

1.邏輯迴歸的產生

線性迴歸很好的解決了連續值預測的問題。但是存在另一種問題，有兩類樣本點（暫時只考慮兩類），我們需要一條邊界來區分開這兩類樣本點，即線的一側爲一類，另一側爲一類。
雖然線性迴歸與邏輯迴歸都是確定一條邊界線，但線性迴歸的目的是解決同一類樣本點的連續值預測，而邏輯迴歸的目的是解決兩類樣本點的區分。

2.邏輯迴歸公式

其實邏輯迴歸的本質還是找到一條線h(x)$h(x)$ 來區分兩類樣本點，但是該函數的輸出是一個無限制，那麼我們需要將他映射到可表達概率的函數裏。即大名鼎鼎的sigmoid函數g(z)=11+e−z$g(z)=\frac{1}{1+e^{-z}}$

sigmoid函數的函數圖像如下（圖片也是從上邊博客盜的，希望不會被錘）和標準答案一樣美的函數圖象

所以，如果我們線性迴歸函數是y=wTx$y=w^{T}x$ ，則對應的邏輯迴歸輸出函數爲h(x)=g(f(x))$h(x)=g(f(x))$

3.邏輯迴歸函數求解

對輸出函數h(x)$h(x)$ ，我們用似然函數的思想來構造方程
對於任意的輸入h(x)，它爲1的概率爲P,則它爲0的概率爲1-P。所以，對於所有的h(x)，他的概率表達式
P(y=1|x;w)=h(x)$P(y=1|x;w)=h(x)$
P(y=0|x;w)=1−h(x)$P(y=0|x;w)=1-h(x)$
整合該函數

P(y|x;w)=(h(x))y(1−h(x))1−y$$P(y|x;w)=(h(x){)}^y(1-h(x){)}^{1-y}$$

y只有兩類取值0，1

3.1求解似然函數

步驟還是差不多，似然函數取對數求對數似然，再求導
給出最終導數

1m∑i=1m(h(xi)−yi)xji$$\frac{1}{m}\sum _{i=1}^m(h(x_i)-y_i)x_i^j$$

所以w的參數更新爲

wj:=wj−α1m∑i=1m(h(xi)−yi)xji$$w_j:=w_j-\alpha \frac{1}{m}\sum _{i=1}^m(h(x_i)-y_i)x_i^j$$