ICLR 2020 ENERGY BASED MODEL 摘要速覽

YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED
MODEL AND YOU SHOULD TREAT IT LIKE ONE

https://openreview.net/group?id=ICLR.cc/2020/Conference#accept-talk

引言

discriminative分類器表示爲 p(y|x)，可以基於能量型模型 把它
重新推導成 p(x, y) 則可以用 p(x) 和 p(x|y) 計算，
這樣，標準的 discriminative 模型也能用 未標註數據 訓練，
我們實驗證實，基於能量的聯合訓練，可以提高正確率、魯棒性，同時也能類似GAN一樣生成數據，

本文貢獻，提出一種新穎的框架來建模label和data，

基於能量的模型（EBM）

能量模型表示爲
$p_θ(x) = exp(-E_θ(x)) / Z(θ)$
其中x是D維向量，E是能量方程 把D維向量映射到1維，
其中Z是歸一化項，
$Z(θ) = ∫_x exp(−E_θ(x))$
EBM即一個把向量映射爲一個數的模型，

分類器所隱藏的

分類器是吧D維向量映射爲K維向量，即
$f_θ : R^D → R^K$
f的輸出是logit，然後過softmax，

（這塊推導挺不錯，建議原文看看）

最後推導出引言裏說的