邏輯斯蒂迴歸（二項和多項）

邏輯斯蒂迴歸（二項和多項）

1. 邏輯斯蒂分佈定義

設X是連續隨機變量，則X服從邏輯斯蒂分佈，是指X具有下列分佈函數和密度函數：

F(x)=P(X<=x)=11+e−(x−μ)/γ

f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2

其中μ是位置參數，γ>0是形狀參數

F(x)圖像如下：

1. 二項邏輯斯蒂迴歸模型

1.1
二項邏輯斯蒂迴歸模型是一種分類模型，由條件概率分佈P（Y|X） 表示。這裏X取值爲實數，Y取0或者1.概率模型如下：

P(Y=1|x)=exp(ω∗x+b)1+exp(ω∗x+b)

P(Y=0|x)=1−P(Y=1|x)=1)1+exp(ω∗x+b)

1.2
對數機率：如果事件發生的概率是p，那麼該事件的機率是p1−p ，改事件的對數機率是：

logit(p)=logp1−p

對二項邏輯斯蒂迴歸而言，logit(p)=logP(Y=1|x)1−P(Y=1|x)=ω∗x+b
1.3
模型參數估計，極大似然法
似然函數：L(ω,b)=ΠNi=1p(yi|xi;ω,b) ——即在參數β=(ω,b) 的條件下，樣本xi 屬於yi 的概率
其中p(yi|xi;ω,b)=yi∗p(y=1|xi;β)+(1−yi)∗p(y=0|xi;β)
取對數：logL(ω,b)=ΣNi=1logp(yi|xi;ω,b)
採用梯度下降或牛頓法求解

2. 多項邏輯斯蒂迴歸模型

概率模型

P(Y=k|x)=exp(ωK∗x+b)1+ΣK−1i=1exp(ωk∗x+b),k=1,2,...,K−1

P(Y=K|x)=11+ΣK−1i=1exp(ωk∗x+b)

1.原理：分類的思想其實與邏輯迴歸分類(默認是指二分類，binary classification)很相似——構造K個二分類LR假設函數即可
這裏其實是“one VS all“的思想：對每一個類，有針對性地訓練一個LR分類器。當輸入一個新的樣本，預測該樣本爲分類器得分最高的那一類即可

2.如下圖，共有三類。每次訓練某一類的時候，將其他所有類歸位另一類進行訓練，得到一個二分類的LR

3.參數估計
二項邏輯斯蒂迴歸的參數方法可以推廣到多項