因子分析的邊緣分佈推導——CVMLI Prince讀書隨筆第7章

模型爲
$\begin{aligned} P( x| h) &= \mathcal N( x| \mu + \Phi h, \Sigma) \\ P( h) &= \mathcal N( h| 0, I) \end{aligned}$
其中$h$的維度爲$k$，$x$的維度爲$d(d>k)$，$\Sigma$ 是對角陣，求$P(x)$.
這是高斯線性模型！！高斯線性模型！！高斯線性模型！！
別猶豫！！！直接套結論。結果爲$\Phi\Phi^T +\Sigma$.
之前居然沒想起來這個，手算了半天。

---

以下爲之前手算的.
$\begin{aligned} P( x) &= \int \mathcal N( x| \mu + \Phi h, \Sigma) \mathcal N ( h|0, I) \\ =& C_1 \int exp \left\{-\frac{1}{2}( x- \mu - \Phi h)^T \Sigma^{-1}( x- \mu - \Phi h) \right\} exp \left\{-\frac{1}{2} h^T h\right\} d h \\ =& C_2 \int exp\left\{-\frac{1}{2} [( x- \mu)^T \Sigma^{-1}( x- \mu ) -2( x - \mu)^T \Sigma^{-1} \Phi h + h^T ( \Phi^T \Sigma^{-1} \Phi + I) h]\right\} d h \\ =& C_3 \exp \left \{ -\frac{1}{2}[( x- \mu)^T[ \Sigma^{-1} - \Sigma^{-1} \Phi ( \Phi^T \Sigma^{-1} \Phi + I)^{-1} \Phi^T \Sigma^{-1}]( x- \mu )] \right \} \\& \times \int exp \left \{-\frac{1}{2} [ h - ( \Phi^T \Sigma ^{-1} \Phi + I)^{-1} \Phi^T \Sigma^{-1}( x - \mu)]^T ( \Phi^T \Sigma^{-1} \Phi + I)[ h - ( \Phi^T \Sigma ^{-1} \Phi + I)^{-1} \Phi^T \Sigma^{-1}( x - \mu)] \right \} d h \end{aligned}$
其中$C_1,C_2,C_3$表示$x,h$無關的係數。注意到把$x$有關而$h$無關的項提到積分外，積分內是關於$h$的一個高斯分佈。積分後得到
$\begin{aligned} C_4 \exp \left \{ -\frac{1}{2}[( x- \mu)^T[ \Sigma^{-1} - \Sigma^{-1} \Phi ( \Phi^T \Sigma^{-1} \Phi + I)^{-1} \Phi^T \Sigma^{-1}]( x- \mu )] \right \} \end{aligned}$
這是一個高斯分佈，均值爲$\mu$，方差爲
$[ \Sigma^{-1} - \Sigma^{-1} \Phi ( \Phi^T \Sigma^{-1} \Phi + I)^{-1} \Phi^T \Sigma^{-1}]^{-1} \tag{1}$
這裏套用Sherman-Morrison-Woodbury恆等式（矩陣求逆引理），式(1)化爲$\Phi\Phi^T +\Sigma$

• Sherman-Morrison-Woodbury恆等式：
  考慮$A \in \mathbb R ^{d\times d}, B \in \mathbb R ^{k\times d}, C \in \mathbb R ^{k\times k}$，其中$A, C$正定對稱，則有
  $(A^{-1} + B^T C^{-1} B)^{-1}=A-AB^T(BAB^T+C)^{-1}BA$
  該式的另一個用處是降低求逆維度，可以把左側對$d$維求逆改爲右側對$k$維求逆，如果$d>k$的話，則有助於求逆

上述恆等式和舒爾補恆等式也很有關係。