線性代數
使用到的數學符號：
Ax=b
Ax=b的行視圖（凸優化中的超平面）：
列視圖（矩陣列的線性組合）：
行視圖和列視圖是從不同的角度去看Ax=b，它們屬於不同的空間。
線性相關與線性無關
Span、基和子空間（Subspace）
一個子空間可以由一組基表示，基的維數是固定的，但是基有無數組
四個基本的子空間
列空間：
兩個向量的所有線性組合構成一個二維平面，是三維空間的子空間，且子空間必過原點，因爲x1,x2可以爲0
零空間：
零空間是所有Ax=b的解的所有線性組合構成的子空間
行空間：
左零空間：
四個基本子空間的關係：
兩個垂直的子空間如 左零空間和列空間，它們的交點只有原點這一個點。
注意零空間有可能不存在，比如在滿秩的情況下。
利用子空間重新看待線性方程組的解：
Ax=b方程的解：
- 只有唯一解，則 b ∈ C（A），N（A）的維數是 0
- 有無情多解，則 b ∈ C（A），N（A）的維數大於 0
- 無解，則 b ∉ C（A）
- 如果有解，解的形式 X = P + V P：特解 V：零空間的解
A * x = A * ( P + V ) = b + 0
特徵分解（凸優化中的重要技術）
特徵值（Eigenvalues）與特徵向量（Eigenvectors）
Ax = λx的幾何意義：
特徵分解的性質：
Ax 相當於是對 x 向量進行了伸縮，也就是 Ax 與 x 共線，這個伸縮的比例就是 A 相對於 x 的特徵值。
對稱矩陣的特徵分解
對於對稱矩陣來說，非零特徵值的個數就是矩陣的秩。
二次型（Quadratic Form）
負定矩陣：< 0
不定矩陣： 對有的向量 > 0 , 的有的向量 < 0
注意，正定矩陣、負定矩陣、不定矩陣等概念都是針對 對稱矩陣 提出的。
那麼，矩陣的正定，負定、不定有什麼用呢？
二次型圖像：
正定矩陣更容易進行函數的優化，找到最優解。
PCA
這裏的Cx，可以理解爲先對數據進行去均值，使得均值爲0，正對角線可以理解爲方差，負對角線可以理解爲協方差。
問題： 假設變換矩陣爲Y = QX，並先假設Q是方陣（先不降維），則有：
如何使得Cy是一個對角矩陣？
這裏的Cy相當於協方差矩陣，這個矩陣如何轉變稱對角陣呢？
因爲協方差矩陣是對稱矩陣，可以進行對角化（實對稱矩陣一定可以對角化）：
如果有n階矩陣A，其矩陣的元素都爲實數，且矩陣A的轉置等於其本身（aij=aji）(i,j爲元素的腳標），則稱A爲實對稱矩陣
將 Q 換爲 U 的轉置就可以啦。U 是正交陣。
PCA的核心就是： 一個對稱矩陣可以被U對角化。
PCA降維舉例
這裏，我們把2行的X，降維稱1行，這裏的特徵值我們取最大值2，因爲方差越大蘊含的信息越多，也可以理解爲這個數據越重要。
圖像表示如下：
這裏降維的操作相當於把離散的點映射到了一條直線上。
SVD（Singular Value Decomposition）萬能矩陣分解
特徵分解的廣義化
這裏的 σ 表示 奇異值
SVD和特徵分解的關係
SVD和子空間的關係
也就是：
SVD 提供了計算四個子空間正交基的一種快速方法
低秩矩陣近似（降維）
奇異值分解比特徵分解更加穩定，兩者的本質是一樣的。