機器學習算法總結——logistic regression

定義

• 解決二分類問題
• $\hat{y}=\frac{1}{1+e^{-z}}$，此函數也成爲Sigmoid函數，z = $\theta^{T}X$

代價函數

• $L=-ylog\hat{y}-(1-y)log(1-\hat{y})$，y爲實際值，$\hat{y}$爲預測值
• 損失轉化爲分段函數，即爲 $L= \left\{\begin{matrix} -log(\hat{y}), y=1 \\ -log(1-\hat{y}),y=0 \end{matrix}\right.$

梯度下降求得最優解

• $\theta _{j}-\alpha \sum_{1}^{m}(\hat{y}-y)x_{j}\rightarrow \theta _{j}$