SVD（Singular Value Decomposition）到底怎麼“湊“出來的？

• 本文主要是記錄個人的理解，關於數學定理部分可能不太嚴謹。如果問題，歡迎指正！

• 其它更多關於SVD的知識，可參考：

• AMS :: Feature Column from the AMS

• 視頻：矩陣分析之奇異值分解（SVD）

• 博客園：SVD（奇異值分解）小結

• CSDN：矩陣論筆記：奇異值分解SVD(Singular Value Decomposition)以及應用總結！

---

特徵值分解

首先，從特徵值分解說起。對於$N$階矩陣$A$，有：
$A v=\lambda v$
其中 $v$ 是矩陣$A$ 的特徵向量，$\lambda$ 是矩陣$A$ 的特徵值。

這個式子的一個重要含義：⭐特徵向量被施以線性變換$A$只會使向量伸長或縮短，而其方向不會改變。

$N$階矩陣$A$ 可分解成如下形式：——稱爲 對角化
$A = Q \Lambda Q^{-1}$
這裏的：$Q$是由特徵向量構成的矩陣；$\Lambda$是由特徵值構成對角矩陣，與$Q$的特徵向量一一對應。

好了，現在只有方陣才能做特徵值分解，那不是方陣怎麼辦？也能分解成這種形式嗎？是的。

奇異值分解

接下來就是奇異值分解（Singular Value Decomposition）。

假設有矩陣 $A_{m \times n}$

Step1： 轉置相乘湊方陣

定理1：矩陣轉置相乘一定得到對稱矩陣

（很容易證明：假設$B=A^{T}A$，則$B^T = (A^T A)^T = A^T A = B$，得證）

所以有：
$B = AA^T \Rightarrow \text{是} m \times m \text{階方陣} \\ C = A^TA \Rightarrow \text{是} n \times n \text{階方陣} \tag{1}$

Step2： 對稱矩陣對角化

定理2：設$A$爲$n$階實對稱矩陣，則必有正交矩陣$P$，使$P^{-1}AP=P^TAP=\Lambda$，其中$\Lambda$是以$A$的$n$個特徵值爲對角元的對角矩陣。（同濟第六版線性代數，第5章第4節，P128頁定理5）

即，實對稱矩陣一定可以對角化，一定可以寫成$A=P\Lambda P^{-1}$的形式，而且$P$還可以單位化成正交矩陣的形式。假設$P$單位化後的正交矩陣爲$Q$，正交矩陣滿足$Q^T=Q^{-1}$，所以有：$A=Q\Lambda Q^{-1} = Q\Lambda Q^{T}$ 。

所以有：
$B_{m\times m} = AA^T = U \Lambda U^{-1} = U_{m\times m} \Lambda_{m\times m} U_{m\times m}^{T} \\ C_{n\times n} = A^TA = V \Lambda V^{-1} = V_{n\times n} \Lambda_{n\times n} V_{n\times n}^T \tag{2}$
其中$U$是$m \times m$階的正交矩陣，$V$是$n \times n$階的正交矩陣，$\Lambda$是特徵值組成的對角矩陣。

Step3：特徵值開平方根得奇異值

實數 和 矩陣 的類比：

實數		矩陣
$a$	$\Longleftrightarrow$	$A$
$b = a^2$	$\Longleftrightarrow$	$B = AA^T 或 A^TA$
$a = \pm \sqrt{b}$	$\Longleftrightarrow$	$A=對B進行平方根分解$
$b=u^2\lambda$	$\Longleftrightarrow$	$B = U \Lambda U^{T}$
$a=\pm \sqrt{u^2\lambda}=\pm u \sqrt{\lambda}$	$\Longleftrightarrow$	$A=U\cdot 對\Lambda進行平方根分解$

$\Lambda$ 裏的特徵值是$B，C$的特徵值，而$B，C$類似於是$A$的“平方”，那我想要得到$A$的特徵值，就相當於要對$\Lambda$“開平方”，即要找到$\Sigma$，使得：
$\Lambda = \Sigma^T\Sigma$
這其實就是矩陣的Cholesky分解法，又叫平方根分解法：

定理：若$A \in R^{n \times n}$對稱正定，則存在一個對角元爲正數的下三角矩陣$L \in R^{n \times n}$，使得$A=LL^T$成立。

（如果$A$是半正定的（semi-definite），也可以分解，不過這時候$L$就不唯一了。）

對角矩陣$\Lambda$顯然是可以分解的，並且分解還不唯一，但是奇異值我們只取正的：

$\left[ \begin{matrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \lambda_3 & \\ & & & \ddots \end{matrix} \right] = \left[ \begin{matrix} \sqrt{\lambda_1} & & & \\ & \sqrt{\lambda_2} & & \\ & & \sqrt{\lambda_3} & \\ & & & \ddots \end{matrix} \right] \left[ \begin{matrix} \sqrt{\lambda_1} & & & \\ & \sqrt{\lambda_2} & & \\ & & \sqrt{\lambda_3} & \\ & & & \ddots \end{matrix} \right]$

所以我們得到了：
$B_{m\times m} = AA^T = U \Lambda U^{-1} = U \Lambda U^{T} = U_{m\times m} \Sigma_{m\times n}^T \Sigma_{n\times m} U_{m\times m}^{T}\\ C_{n\times n} = A^TA = V \Lambda V^{-1} = V \Lambda V^T = V_{n\times n} \Sigma_{n\times m} \Sigma_{m\times n}^T V_{n\times n}^T \tag{3}$

Step4：插入正交矩陣湊形式​

$U$和$V$是正交矩陣，滿足$U^TU=I$，$V^TV = I$，所以有：
$B_{m\times m} = AA^T = U \Lambda U^{-1} = U \Lambda U^{T} = U \Sigma^T \Sigma U^{T} = (U_{m\times m} \Sigma_{m\times n}^T V_{n\times n}^T) (V_{n\times n} \Sigma_{n\times m} U_{m\times m}^{T}) \\ C_{n\times n} = A^TA = V \Lambda V^{-1} = V \Lambda V^T = V \Sigma \Sigma^T V^T = (V_{n\times n} \Sigma_{n\times m} U_{m\times m}^T) (U_{m\times m} \Sigma_{m\times n}^T V_{n\times n}^T) \tag{4}$
最後得到上面兩個式子，由此可以看出：第一個式子左邊括號即爲$A$，右邊括號即爲$A^T$；第二個式子左邊括號$A^T$，右邊括號爲$A$。所以我們得到的SVD分解爲：
$A_{m \times n} = U_{m\times m} \Sigma_{m\times n}^T V_{n\times n}^T$
我們稱 $U$ 爲左奇異矩陣，$V$ 爲右奇異矩陣。

(1)~(4)就是四個步驟的變化過程。

——完——