複習:
Logistic迴歸:分類算法
假設給定x以爲參數的y=1和y=0的概率:
求對數似然性:
對其求偏導數,應用梯度上升方法,求得。
本次課程介紹的牛頓方法是一種比梯度上升快很多的方法,用於擬合Logistic迴歸
推導圖:
當要求解f(θ) = 0時,如果 f 可導,那麼可以通以下的迭代公式
當應用於求解最大似然估計的最大值時,變成求解l′(θ) =0的問題。
當 θ 是向量時,牛頓法的通用表達式變成:
H爲henssian矩陣,牛頓法收斂速度雖然很快,但求 Hessian 矩陣的逆的時候比較耗費時間。
更多相關文章亦可參考:【機器學習-斯坦福】學習筆記4 - 牛頓方法