Binary Cross Entropy

我們從兩種角度來推導.

Bernoulli Distribution

對於任意一個樣本$(x,y)$, 我們希望模型能夠預測
$P(y|x) = \begin{cases} \hat{p} & \text{if $y=1$}\\ 1- \hat{p} & \text{if $y=0$}\\ \end{cases}$
可以簡寫爲
$P(y|x)=\hat{p}^y(1-\hat{p})^{1-y}$
我們希望將其最大化. 通過$log$變換
$logP(y|x)=ylog\hat{p}+(1-y)log(1-\hat{p})$
對於$n$個$i.i.d$樣本而言
$logP=\sum_i y_ilog\hat{p}_i+(1-y_i)log(1-\hat{p}_i)$

Maximum Likelihood Estimation

對於$n$個$i.i.d$樣本, 其概率爲
$P=\prod_i P(y_i|x_i)=\prod_i \hat{p}_i^{y_i}(1-\hat{p}_i)^{1-y_i}$
同樣的
$logP=\sum_i y_ilog\hat{p}_i+(1-y_i)log(1-\hat{p}_i)$
取負即爲Loss.