【SVD】奇異值分解 -- 學習筆記

參考資料：數值分析

---

• 若A爲Hermite陣，
  可用-酉相似變換-將其化爲對角形式：$Q^{*}AQ=\Lambda$，即得到譜分解，也就是特徵值分解；
  譜分解保持矩陣的秩和特徵值不變。
• 若A非Hermite陣，

1. 可用-初等變換-化爲比較簡單的對角形式，
   $A=P\begin{bmatrix}I&0\\0&0\end{bmatrix}Q$
   即滿秩分解,保持矩陣的秩不變；
2. 可用-相似變換-將其化爲Jordan形，即Jordan分解，$A=PJP^{-1}$，保持矩陣的秩和特徵值不變。
3. 可用-酉相似變換-將其化爲上三角形式，即Schur分解$A = QRQ^{*}$，保持秩和特徵值不變。
4. 可用-酉變換-（不要求相似）j將其化爲對角形式，即奇異值分解$A=U\Sigma V^{*}$，特點是不要求A是方陣。

---

奇異值分解定理：
對任意矩陣$A$(可以不是方陣），存在酉矩陣U，酉矩陣V，對角元按非增次序排列的非負對角矩陣$\Sigma$，使得：$A=U\Sigma V^{*}$。
其中，矩陣A的規模大小 = 對角矩陣$\Sigma$規模大小。
上述是，完全奇異值分解（FULL SVD）。
還有經濟型奇異值分解（economic svd），又稱約化奇異值分解，此時$A=U\Sigma V^{*}$中，非負對角矩陣是方陣（被約化了，其實是矩陣分塊的運算的結果），代價是：在完全奇異值分解中較大的那個方陣不再是方陣（會更小，可能是扁的，也可能是高的）。

---

奇異值分解的性質：

1. 矩陣A的秩 = 非零奇異值的個數$r$；
   原因：酉矩陣是可逆的，不改變矩陣的秩，即$rank(A)=rank(\Sigma)$.
2. 矩陣A的值域 = 前$r$個左奇異向量所張成的空間。
   
   
   
   $A^{*}A$的非零特徵值是矩陣A的非零奇異值的平方。
   
   注：$|\Lambda|$表示對對角矩陣$\Lambda$的每個元素取絕對值所組成的對角矩陣；
   $sign(\Lambda)$表示對角矩陣$\Lambda$的對角元的符號，在這裏，如果非負，取1，否則取-1.
   

---

低秩逼近：

秩1矩陣，是指$u_{j}v_{j}^{*}$，因爲矩陣$u_{j}$是列向量，所以它的秩爲1，而矩陣的乘積的秩不大於每個因子矩陣的秩，所以秩爲1.

說明：在所有-秩不超過k的-矩陣中，奇異值分解出的矩陣$A_{k}$與矩陣A的二範數意義下最近，距離爲第k+1個奇異值。

在F範數的意義下，$A_{k}$距離A也是最近的。

---

例題：
利用 $A^{*}A$的非零特徵值是矩陣$A$奇異值的平方，先求出奇異值，得到$\Sigma$矩陣。
與此同時，求出$A^{*}A$的特徵向量，得到V矩陣。
利用 $U=AV\Sigma^{-1}$,求出矩陣U。



注：構造$u_{3}$的方法有很多，比如：$u_{3}$與$u_{2}$、$u_{1}$向量正交，$u_{3}$的長度（二範數）爲1，聯立這三個方程即可求解。

---

閱讀博客的筆記：
https://www.cnblogs.com/pinard/p/6251584.html
這篇博客從原理、應用等方面對SVD進行了詳細介紹。
有些地方，值得做下筆記。

在PCA中，我們需要計算$X^{T}X$矩陣的特徵向量，可以考慮對矩陣$X$進行SVD分解$X=U\Sigma V^{T}$，那麼$X^{T}X=V\Sigma^{2}V^{T}$，也就是說右奇異矩陣正是我們所需要的：$X^{T}X$矩陣的特徵向量。