奇異值分解（Singular Value Decomposition, SVD）可以被看做是方陣特徵值分解的推廣，適用於任意形狀的矩陣。
對於矩陣$A\in \R^{m\times n}$，不失一般性，假設$m\geq n$，奇異值分解期望實現：
$A=U\Sigma V^T$
其中$U,V$分別爲$m,n$階正交矩陣，其中向量稱爲左/右奇異向量，$\Sigma$爲非負主對角線元素降序排列的$m\times n$對角矩陣，稱爲奇異值矩陣。如下圖所示：
如果$\Sigma$的秩爲$r$，可以將矩陣的零略去，得到更緊湊的結果：
奇異值分解一定存在，可以通過構造相應的分解矩陣$U,\Sigma,V$來證明，具體證明看李航《統計學習方法》。證明過程中包含了運算，當然可以直接看更簡潔明瞭的計算方式。簡單來說就是計算$AA^T$和$A^TA$的特徵值和對應的正交矩陣，用特徵值的平方根組成爲奇異值矩陣。
幾何意義：在上面第一張圖的情況下，對於向量$x$，變換$Ax=U\Sigma V^Tx$可以理解爲先進行正交矩陣$V^T$的旋轉變換，然後$\Sigma$縮放變換並映射到$m$維空間，最後進行$U$的旋轉變換。
通常奇異值遞減很快，因此可以取前幾個較大奇異值忽略較小奇異值從而實現矩陣壓縮。
矩陣的逆、左逆、右逆、僞逆，可以通過奇異值分解求得，看這裏。其中逆矩陣只有滿秩方陣纔有，左逆只有列滿秩矩陣纔有，右逆只有行滿秩矩陣時纔有，僞逆則是在行列都不滿秩時求解一個近似的逆矩陣。僞逆並不能將原始矩陣的操作完全恢復，會有信息丟失。行滿秩也可以求右僞逆，列滿秩也可以求左僞逆。