交叉熵概念

熵

信息量

概率可能性的投影空間大小，單位比特。記隨機離散變量的分佈列與信息量I爲：
$\begin{alignedat}a &\begin{bmatrix} x_0 & x_1 & ... &x_n\\ p_0 & p_1 & ... &p_n \end{bmatrix}\\\\ &I(x_i) = -log(p(x_i)) \end{alignedat}$

熵

熵(Entropy)：一個系統所有事件的不確定性之和；
相對熵(Relative Entropy)：同一個隨機變量的兩個不同分佈間的差別描述；
交叉熵(Cross Entropy)：使用分佈$q(x)$表示目標分佈$p(x)$的困難程度，以分佈$q$描述擬合分佈$p$。
$\begin{alignedat}a H(x) &= E(Len_{bit}) = E(log({1\over p_i})) = - \sum_{i=1}^np_ilog(p_i)\\ D_{KL}(p||q) &= \sum_{i=1}^np_ilog({p_i \over q_i}) = \sum_{i=1}^np_i(log(p_i)-log(q_i))\\ H(p,q) &= E(Len_{bit}) = E(log({1\over q_i})) = -\sum_{i}p_ilog(q_i) \end{alignedat}$