logistic迴歸--基本理論（1）

1.邏輯斯蒂迴歸

1.1.邏輯斯蒂分佈

邏輯斯蒂分佈（logistic distribution）：設X是連續隨機變量，X服從邏輯斯蒂分佈是指X具有下列分佈函數和密度函數：
$F(x)=P(X \le x)=\frac{1}{1+e^{-(x-\mu)/ \gamma}}$
邏輯斯蒂分佈函數的導數：

邏輯斯蒂分佈的密度函數和分佈函數：

分佈函數性質：
（1）S形曲線（sigmoid curve）
（2）以點($\mu$,1/2)爲中心對稱，即滿足

（3）曲線在中心附近增長速度較快，在兩端增長速度較慢
（4）形狀參數的值越小，曲線在中心附近增長越快。

1.2.二項式邏輯斯蒂迴歸模型–二類別

二項式邏輯斯蒂迴歸模型（binomial logistic regression model）是一個種分類模型，類別取值爲1和0。
二項式邏輯斯蒂迴歸模型的公式如下：



$w \in R^n$和$b \in R$是參數，w稱爲權值向量，b稱爲偏置。
有時b也會併入到w中，w加一個項，值爲1即可，即：
$w=(w_1,w_2,...,w_n, b)$
$x=(x_1,x_2,...,x_n,1)$

對於給定的輸入x，計算$P(Y=1|x)$和$P(Y=0|x)$，比較兩者的大小，將實例分到概率值較大的那一類。

1.2.1.模型參數估計

邏輯斯蒂迴歸模型採用極大似然估計法計算模型參數，設數據集

其中，$x_i \in R^n$，$y_i \in \{0,1\}$，
設$P(Y=1|x)=\pi(x)$和$P(Y=0|x)=\pi(x)$
似然函數爲：

對數似然函數爲：

對L(w)求極大值，得到w的估計值，採用的方法是梯度下降法和擬牛頓法。

1.3.多項式邏輯斯蒂迴歸模型–多類別

上面介紹的邏輯斯諦迴歸模型是二項分類模型，用於二類分類。可以將其推廣爲多項邏輯斯諦迴歸模型（multi-nominal logistic regression model），用於多類分類。

假設離散型隨機變量Y的取值集合是{1,2,3,…K}，那麼多項邏輯斯底迴歸模型是