矩陣論 - Part II

矩陣論 - Part II

概念索引

4 向量空間, 最大線性無關組, 線性(子)空間, 線性空間的維數, 基和座標, 同構映射, 同構空間, 基變換, 過度矩陣, 座標變換, 線性變換, 線性變換的矩陣表示, 相似矩陣, 歐式空間, 內積, 範數, Schwartz不等式, 夾角, 規範正交基, Schmidt正交化過程, 正交矩陣

4 矩陣空間

向量空間

向量空間: $n$維向量的集合$V$, 如果對加法和數乘運算封閉, 則集合$V$稱爲向量空間

生成向量空間

子空間

空間維數

0空間

最大線性無關組: 向量組$A$中有$r$個向量(設爲向量組$A_0$)線性無關, 任意$r+1$個向量線性相關, 則稱$A_0$是一個最大線性無關組, $r$稱爲向量組的秩, 只含有0向量的向量組沒有最大無關組, 規定其秩爲$0$

矩陣的秩等於其列向量組的秩, 也等於其行向量組的秩

向量組$B$可以由向量組$A$線性表示, 則向量組$B$的秩不大於向量組$A$的秩

• 等價的向量組秩相等
• 設$C = AB$, 則 $\left \{ \begin{aligned} R(C) \leq R(A) \\ R(C) \leq R(B) \end{aligned} \right.$
• 最大線性無關組的等價定義: 設$B$是$A$的部分組, 若$B$是線性無關組, 且$A$可以由$B$線性表示, 則$B$是$A$的最大無關組

線性空間

非空集合$V$, 實數域$R$(可以爲其他數域), 定義加法和數乘運算兩種運算, 滿足如下性質($\lambda, \mu \in R$, $\alpha, \beta, \gamma \in V$):

• 性質1: 加法交換律, $\alpha + \beta = \beta + \alpha$
• 性質2: 加法結合律 $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$
• 性質3: $V$中有$O$元素 $\alpha + O = \alpha$
• 性質4: $V$中任何元素有負元素 $\forall \alpha \in V, \exist\beta\in V$, s.t. $\alpha = -\beta$
• 性質5: $V$中有單位元$I$ $I \cdot \alpha=\alpha$
• 性質6: $\lambda(\mu\alpha)=(\lambda\mu)\alpha$
• 性質7: $(\lambda + \mu)\alpha = \lambda\alpha + \mu\alpha$
• 性質8: $\lambda(\alpha + \beta) = \lambda\alpha + \lambda\beta$
  滿足上述性質的加法和數乘運算稱爲線性運算, 定義線性運算的集合$V$稱爲線性空間

線性空間的性質

零元素唯一

任一元素的負元素唯一

$0\alpha=O, (-1)\alpha = -\alpha, \lambda O = O$

若$\lambda\alpha=0$, 則必有$\alpha=O$, 或$\lambda=0$

線性子空間

線性空間的非空子集, 對於原線性空間加法和數乘運算也構成一個線性空間, 則稱該子集爲原線性空間的線性子空間

線性空間$V$上的一個非空子集$L$構成線性子空間的充要條件是: $L$對$V$中的線性運算封閉.

線性空間的維數, 基和座標

基$a_1, a_2, \cdots, a_n$, 維數$n$

$V$中的元素用基元素$\alpha$線性表示爲: $\alpha = x_1\alpha_1 + x_2\alpha_2 + \cdots + x_n\alpha_n$, $(x_1, x_2, \cdots, x_n)$稱爲元素$alpha$在這組基下的座標.

同構

設$U$, $V$是數域$F$上的兩個線性空間, $f$是$U$到$V$的一個映射, 如果滿足:
(1) $f$是雙射
(2) $\forall \alpha, \beta \in U$,有$f(\alpha + \beta) = f(\alpha) + f(\beta)$
(3) $\forall \alpha \in U$, $\lambda \in F$, 有$f(\lambda \alpha) = \lambda f(\alpha)$
則稱$f$是$U$到$V$的同構映射, 如果$U$到$V$的同構映射存在, 則稱$U$和$V$同構, 記爲$U \cong V$.

數域$F$上的任意$n$維線性空間都與$F^n$同構

同構映射的基本性質

設$f$是線性空間$U$到$V$的同構映射, 則:
(1) $f(0) = 0$
(2) $\forall \alpha \in U$, 有$f(-\alpha) = - f(\alpha)$
(3) $\forall \alpha_i \in U, \lambda_i \in F$, 有$f(\lambda_1\alpha_1 + \cdots + \lambda_n\alpha_n) = \lambda_1f(\alpha_1) + \cdots + \lambda_nf(\alpha_n)$
(4) $U$中的向量$\alpha_1, \alpha_2, \cdots, \alpha_n$線性相關的充要條件是$f(\alpha_1), f(\alpha_2), \cdots, f(\alpha_n)$線性相關
(5) $\alpha_1, \alpha_2, \cdots, \alpha_n$是$U$的一個基的充要條件是$f(\alpha_1), f(\alpha_2), \cdots, f(\alpha_n)$是$V$的一個基
(6) $U$的子空間在$f$下的象集是$V$的子空間
(7) $V$的子空間在$f$下的原集是$U$的子空間
(8) $f$的逆映射是$V$到$U$的同構映射
(9) 若$g$是線性空間$V$到$W$的t同構映射, 則$gf$是$U$到$W$的同構映射

同構關係的性質

反身性: $V \cong V$
對稱性: 若$U \cong V$, 則$V \cong U$
傳遞性: 若$U \cong V$, $V \cong W$, 則$U \cong W$

線性空間同構的一個充要條件

數域$F$上兩個有限維線性空間同構的充要條件是它們有相同的維數.

同構的線性空間是不加區別的(代數角度), 維數是有限維線性空間的唯一本質特徵.

一般無限維空間可以用有限維逼近, 因此有限維空間應用廣泛, 如FFT等

基變換

設$\alpha_1, \cdots, \alpha_n$和$\beta_1, \cdots, \beta_n$是$n$維線性空間$V_n$的兩組基. 則存在變換使得$[\beta_1, \cdots, \beta_n]=[\alpha_1, \cdots, \alpha_n]P$ $P$稱過度矩陣, 上式稱基變換表示式.

座標變換

設線性空間$V$中的元素$\alpha$在兩組基$\alpha_1, \cdots, \alpha_n$和$\beta_1, \cdots, \beta_n$下的座標分別是$[x_1, \cdots, x_n]^T$和$[x_1^\prime, \cdots, x_n^\prime]^T$, $P$爲過度矩陣(同上定義), 則兩組基下的座標表示滿足如下座標變換$[x_1, \cdots, x_n]^T = P[x_1^\prime, \cdots, x_n^\prime]^T$或$[x_1^\prime, \cdots, x_n^\prime]^T = P^{-1}[x_1, \cdots, x_n]^T$

線性變換

設$V_n, U_m$分別是$n$維和$m$維線性空間, 如果變換$T: V_n\rightarrow U_m$滿足:
(1) 可加性: $T(\alpha_1 + \alpha_2) = T(\alpha_1) + T(\alpha_2)$
(2) 可數乘性: $T(k\alpha) = kT(\alpha)$
則稱該變換爲線性變換

若果$U_m = V_n$, 即$T$是$V_n$到自身的線性變換, 稱線性空間$V_n$中的線性變換

線性變換的性質

$T(0) = 0, \quad T(-\alpha) = - T(\alpha)$

$\beta=\lambda_1\alpha_1 + \cdots + \lambda_n\alpha_n$則$T(\beta) =T(\lambda_1\alpha_1 + \cdots + \lambda_n\alpha_n) = \lambda_1T(\alpha_1) + \cdots + \lambda_nT(\alpha_n)$

$\alpha_1, \alpha_2, \cdots, \alpha_n$線性相關, 則$T(\alpha_1), T(\alpha_2), \cdots, T(\alpha_n)$線性相關

線性變換$T$的象$T(V_n)$是一個線性空間($U_m$的子空間), 稱爲線性空間$T$的象空間

集合$S_T=\{\alpha |_{\alpha\in V_n},T(\alpha)=0\}$的是$V_n$的子空間, 集合$S_T$稱爲線性變換$T$的核

用矩陣表示線性變換

$y=T(x) = Ax$

$\mathbb{R^n}$中任何線性變換$T$都可以用矩陣表示 $T(x) = Ax, \quad x\in \mathbb{R^n}$ $A=[T(e_1), T(e_2), \cdots, T(e_n)]$其中$e_1, \ldots, e_n$是一組基, 稱$A$是線性變換$T$在這組基下的線性表示

上述情況可以推廣到一般的線性空間$V_n$中, 設$\alpha_1, \ldots, \alpha_n$是一組基, 此時對於$V_n$中的任意元$\alpha=\sum_{i=1}^n x_i \alpha_i$, 其線性變換$T(\alpha)=T(\sum_{i=1}^n x_i \alpha_i)=[T(\alpha_1), \ldots, T(\alpha_n][x_1, \ldots, x_n]^T=[\alpha_1, \ldots, \alpha_n]A[x_1, \ldots, x_n]^T$
自行思考此時$A$的形式

不同基的變換矩陣

在$V_n$線性空間中, 取定兩組基: $\alpha_1, \ldots, \alpha_n$和$\beta_1, \ldots, \beta_n$, 由基$alpha_1, \ldots, \alpha_n$到基$\beta_1, \ldots, \beta_n$的過度矩陣爲$P$, $V_n$的線性變換$T$在這兩組基條件下的矩陣分別爲$A$和$B$, 則有 $B = P^{-1}AP$

相似矩陣

$n$階方陣$A$和$B$稱爲相似矩陣, 如果存在可逆矩陣$P$, 使得$B = P^{-1}AP$成立, $P$稱爲相似變換矩陣

歐式空間

歐式空間在一般線性空間的基礎上, 引入長度(範數)的定義, 如三維空間中向量$(x, y, z)$的長度平方爲$r^2 = x^2 + y^2 + z^2$後來在長度定義的基礎上進一步定義了內積, 形成內積空間. 內積空間不僅僅有長度, 還有夾角, 正交等.

歐式空間定義

有內積定義的實線性空間稱爲歐式空間

向量內積

$[x, y] = [y, x]$
$[kx, y] = k[x, y]$
$[x + y, z] = [x, z] + [y, z]$
滿足上述3條性質的運算爲內積運算

無限維空間及內積定義

函數線性空間
$[f, g] = [g, f] = \int_a^bgfdx$
$[kf, g] = k[f, g]=k\int_a^bfgdx$
$[f_1 + f_2, g] = \int_a^b (f_1 + f_2)gdx = \int_a^bf_1gdx + \int_a^bf_2gdx=[f_1, g] + [f_2, g]$
上述函數空間也是內積空間

向量範數

非負性
齊次性 $\|kx\| = |k|\|x\|$
三角不等式 $\|x+y\| \leq \|x\| + \|y\|$

Schwartz不等式

$[x, y]^2 \leq [x, x][y, y]$ $|[x, y]| \leq \|x\|\|y\|$當且僅當$x, y$線性相關時等號成立

向量的夾角

$\|x\|,\|y\|\neq 0$, 則$x, y$之間的夾角定義爲$\theta =\arccos \frac{[x, y]}{\|x\| \|y\|}$

正交

$[x, y] = 0$, 則$x, y$正交, $0$向量和所有向量正交

函數空間中也有夾角和正交的概念$\theta =\arccos \frac{[f, g] }{||f||||g||}$ $\int_a^bfg=0$

兩兩正交向量組線性無關

如果向量組$\alpha _1, \ldots, \alpha_n$是兩兩正交的非零向量, 則$\alpha _1, \ldots, \alpha_n$線性無關,

正交基

$n$維空間中$n$個兩兩正交的基, 構成該空間的一組正交基

規範正交基

都是單位向量的正交基稱規範正交基

規範正交基下的座標表示

$e_1, \ldots, e_n$是規範正交基, 元素$\alpha$在這組基下的座標滿足 $x_i = [\alpha, e_i], \quad i=1, 2, \ldots, n$

Schmidt正交化過程

$\left \{ \begin{aligned} &b_1 = a_1 \\ &b_2 = a_2 - \frac{[b_1, a_2]}{[b_1, b_1]}b_1 \\&b_3 = a_3 - \frac{[b_1, a_3]}{[b_1, b_1]}b_1 - \frac{[b_2, a_3]}{[b_2, b_2]}b_2 \\ & \qquad \vdots \\&b_r = a_r - \frac{[b_1, a_r]}{[b_1, b_1]}b_1 - \frac{[b_2, a_r]}{[b_2, b_2]}b_2 - \cdots - \frac{[b_{r-1} , a_r]}{[b_{r-1} , b_{r-1} ]}b_{r-1} \end{aligned} \right.$
歸一化過程 $e _1 = \frac{b_1}{||b_1||}, \quad e _2 = \frac{b_2}{||b_2||}, \quad \cdots, \quad e _n = \frac{b_n}{||b_1||}$

正交矩陣

$n\times n$的方陣, 滿足$A^TA=E$或$A^T = A^{-1}$

正交矩陣是內積不變的線性變換, 所以也稱正交變換矩陣

座標旋轉矩陣是正交矩陣, 但正交矩陣不一定是座標旋轉矩陣

方陣$A$是正交矩陣的充要條件是$A$的行向量(列向量)是$\mathbb{R^n}$中的規範正交基