GAN裏面的一個小坑

 

-log sigmoid(f(x)) = log (1 + exp(-f(x)))

                   = softplus(-f(x)) 

-log(1-sigmoid(f(x))) = log (1 + exp(f(x)))

                      = softplus(f(x)).

Thus, softplus(-f(x)) + softplus(f(x)) represents the same objective as the original adversarial loss function.

因爲看到了一個人代碼寫的有問題查到了這個結果，GAN提出的時候一共有兩種表示方法，只是去掉了一個負號，但是推導之後表示上可以用softplus來代替。