機器學習算法:邏輯斯蒂迴歸模型(logistic regression)

邏輯回歸屬於對數線性模型,學習算法有改進的迭代尺度算法和擬牛頓法

 

邏輯斯蒂分佈

設X是連續隨機變量,若X服從邏輯斯蒂分佈,是指X具有以下分佈函數和密度函數:

爲位置參數(控制分佈/密度函數座標軸上位置), 爲形狀參數(控制函數的形狀),圖形如下:

分佈函數是邏輯斯蒂函數,是S型曲線,以 爲中心對稱:

越小,曲線在中心的越陡。

 

二項邏輯斯蒂迴歸模型

是一種分類模型,由條件概率分佈  表示,形式是參數化的邏輯斯蒂分佈。隨機變量X 爲實數,Y取值0或1,由監督學習估計參數。

邏輯斯蒂迴歸模型

二項邏輯斯蒂回退模型是如下的條件分佈:

 是輸入, 是輸出, 和 是參數,爲權值向量,b 爲偏置, 爲w和x內積

邏輯迴歸分類:對給定的x,按照上式求得 和 ,比較兩個概率大小,將x歸爲較大的一類。

可以對w和b進行擴充, ,,則模型變爲:

事件機率(odds)

是指事件發生的概率與不發生的概率的比值,若發生概率爲p,則機率爲:,對數機率或login函數爲:

邏輯迴歸的對數機率爲:

輸出Y=1的對數機率是輸入x的線性函數,或者說輸出Y=1的對數機率是輸入x表示的線性模型,即邏輯斯蒂迴歸模型

對輸入x分類的線性函數,輸出爲實數,,邏輯迴歸將 轉爲概率:

 越接近正無窮,概率越接近1;越接近負無窮,概率越接近0,這便是邏輯迴歸模型。

 

參數估計

給定訓練集:,其中 ,這裏可用極大似然估計:

設:

似然函數爲:,即yi=1時,需要概率 儘量大;yi=0時,需要 儘量小。

對數似然函數爲:

對L(w)求極大值,得到w的估計,所以參數估計變爲目標函數爲極大似然函數的最優化問題,常用梯度下降發和擬牛頓法求解。

設w的極大似然估計值 ,則學習到的邏輯迴歸模型爲:

 

多項邏輯斯蒂迴歸

二項邏輯迴歸用於二分類,可推廣至多項邏輯迴歸模型,用於多分類。

設離散隨機變量Y 的取值集合爲:,那麼多項邏輯迴歸模型是:

其中 

參數估計方法和二項邏輯迴歸相似。

 

轉自

《統計學習方法 第二版》

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章