邏輯回歸屬於對數線性模型,學習算法有改進的迭代尺度算法和擬牛頓法
邏輯斯蒂分佈
設X是連續隨機變量,若X服從邏輯斯蒂分佈,是指X具有以下分佈函數和密度函數:
爲位置參數(控制分佈/密度函數座標軸上位置), 爲形狀參數(控制函數的形狀),圖形如下:
分佈函數是邏輯斯蒂函數,是S型曲線,以 爲中心對稱:
越小,曲線在中心的越陡。
二項邏輯斯蒂迴歸模型
是一種分類模型,由條件概率分佈 表示,形式是參數化的邏輯斯蒂分佈。隨機變量X 爲實數,Y取值0或1,由監督學習估計參數。
邏輯斯蒂迴歸模型
二項邏輯斯蒂回退模型是如下的條件分佈:
是輸入, 是輸出, 和 是參數,爲權值向量,b 爲偏置, 爲w和x內積
邏輯迴歸分類:對給定的x,按照上式求得 和 ,比較兩個概率大小,將x歸爲較大的一類。
可以對w和b進行擴充, ,,則模型變爲:
事件機率(odds)
是指事件發生的概率與不發生的概率的比值,若發生概率爲p,則機率爲:,對數機率或login函數爲:
邏輯迴歸的對數機率爲:
即輸出Y=1的對數機率是輸入x的線性函數,或者說輸出Y=1的對數機率是輸入x表示的線性模型,即邏輯斯蒂迴歸模型
對輸入x分類的線性函數,輸出爲實數,,,邏輯迴歸將 轉爲概率:
越接近正無窮,概率越接近1;越接近負無窮,概率越接近0,這便是邏輯迴歸模型。
參數估計
給定訓練集:,其中 ,這裏可用極大似然估計:
設:
似然函數爲:,即yi=1時,需要概率 儘量大;yi=0時,需要 儘量小。
對數似然函數爲:
對L(w)求極大值,得到w的估計,所以參數估計變爲目標函數爲極大似然函數的最優化問題,常用梯度下降發和擬牛頓法求解。
設w的極大似然估計值 ,則學習到的邏輯迴歸模型爲:
多項邏輯斯蒂迴歸
二項邏輯迴歸用於二分類,可推廣至多項邏輯迴歸模型,用於多分類。
設離散隨機變量Y 的取值集合爲:,那麼多項邏輯迴歸模型是:
其中
參數估計方法和二項邏輯迴歸相似。
轉自
《統計學習方法 第二版》