第二課-矩陣消元

1 概述

本節主要是對消元法的講解。首先主要介紹了消元法的具體步驟和使用消元法對矩陣A的要求，然後介紹瞭如何使用矩陣乘法來表示消元操作。

2 消元法求解方程

2.1 消元法介紹

首先通過一個例子來求解$Ax=b$，這裏$A$需要是可逆矩陣,即非奇異矩陣
$\tag{1} \left \{ \begin{aligned} x+2y+z&=2\\ 3x+8y+z&=12\\ 4y+z &=2 \end{aligned} \right.$
我們先按行將方程組寫成矩陣形式：
$\begin{array}{cccc} \begin{bmatrix} 1&2&1 \\ 3&8&1 \\ 0&4&1 \end{bmatrix} \begin{bmatrix} x\\y\\z \end{bmatrix} = \begin{bmatrix} 2\\12\\2 \end{bmatrix} \end{array}$

這裏矩陣的消元法和我們在初等數學中求解二元一次方程組的方法本質上是一樣的,都是通過對不同行的方程進行四則運算來消去未知元,得到簡化後的方程組。在線性代數中，我們把係數抽取出來，組合成矩陣，尋找一種普遍規律。

係數矩陣 $A=\begin{bmatrix}\textcolor{red}{1}&2&1\\3&8&1\\0&4&1\end{bmatrix}$，這裏用$A_{ij}$表示係數矩陣中第$i$行，第$j$列的數。其中$A_{11}=1$爲主元1，主元是矩陣經過消元操作，變爲階梯形之後,非零行左邊第一個非零元素。在消元操作中我們讓主元$A_{ij}$保持不變,主元所在列的其它元素$A_{kj}(k>i)$化爲0。
通過$row2-row1*3$的操作我們能夠將$A_{21}$消爲$0$,得到主元2 $A_{22}$,這時矩陣爲$\begin{bmatrix}1&2&1\\0&2&-2\\0&4&1\end{bmatrix}$。
觀察$\begin{bmatrix}\textcolor{red}{2}&-2\\4&1\end{bmatrix}$，同理，我們可以通過$row3-row2*2$ 操作將$A_{32}$消爲$0$,得到$U=\begin{bmatrix}1&2&1\\0&2&-2\\0&0&5\end{bmatrix}$

• $A_{11}=1$ $A_{22}=2$ $A_{33}=5$爲三個主元。
• 消元的目的是從$A \implies U(U爲上三角陣)$，找到三個主元。在消元過程中,爲了滿足主元不能爲$0$的要求，可以交換行。
• $A$的行列式=各主元的乘積 $=1*2*5=10$
• 將$\underbrace{\begin{bmatrix}2\\12\\2\end{bmatrix}}_{B}$ 與$A$進行一樣的倍數操作可以得到$\underbrace{\begin{bmatrix}2\\6\\-10\end{bmatrix}}_{C}$

2.2 回代

• 將原方程用$U$與$c$代入得：
  $\left\{\tag{2} \begin{aligned} x+2y+z&=2\\2y-2z&=6\\5z&=-10 \end{aligned} \right.$
  
  
• 公式(2)由下往上遞歸很容易求出:$\left\{\begin{aligned}x&=2\\y&=1\\z&=-2\end{aligned}\right.$

3 消元矩陣（矩陣的線性組合）

接下來我們需要用矩陣來表示上文具體的變換步驟,首先介紹下向量與矩陣的乘法。

• 列向量與矩陣的乘法
  $\begin{bmatrix} \cdots&\cdots&\cdots\\ \vdots&\ddots&\vdots\\ \cdots&\cdots&\cdots \end{bmatrix} \begin{bmatrix}3\\4\\5\end{bmatrix}= \begin{bmatrix}3*col_{1}\\4*col_{2}\\5*col_{3}\end{bmatrix}$

• 行向量與矩陣的乘法
  $\begin{bmatrix}1&2&7\end{bmatrix} \begin{bmatrix} \cdots&\cdots&\cdots\\ \vdots&\ddots&\vdots\\ \cdots&\cdots&\cdots \end{bmatrix}= \begin{bmatrix}1*row_{1}\\2*row_{2}\\7*row_{3}\end{bmatrix}$

消元矩陣的實質就是將消元過程中的行變換操作轉化爲矩陣之間的乘法形式。我們由行向量與矩陣的乘法很容易就可以知道:$\begin{bmatrix}1&0&\cdots&0\end{bmatrix}$乘以一個矩陣,會得到該矩陣的第一行。$\begin{bmatrix}0&1&\cdots&0\end{bmatrix}$到$\begin{bmatrix}0&0&\cdots&1\end{bmatrix}$分別可以得到矩陣的其餘行。將這些向量組合起來,就可以得到單位矩陣$I$(對角線上元素爲1,其餘元素均爲0):$I=\begin{bmatrix}1&\cdots&0\\0&\ddots&0\\0&\cdots&1\end{bmatrix}$，單位矩陣乘以任何一個矩陣還是等於該矩陣本身,即$IA=A$

觀察我們之前的消元操作,$row2-row1*3$。爲了讓$A_{21}=0$，讓矩陣$\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}$的第二行加上第一行的-3倍，結合上文提到的行向量乘法,我們可以將操作$row2-row1*3$轉化爲向量$\begin{bmatrix}-3&1&0\end{bmatrix}*\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}=\begin{bmatrix}0&2&-2\end{bmatrix}$,爲了讓矩陣的其他行保持不變,我們用消元矩陣$E_{21}$(讓矩陣第二行第一列元素變化0)乘上矩陣$A$
$\underbrace{\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}}_{E_{21}} \underbrace{\begin{bmatrix}1&2&1\\3&8&1\\0&4&1\end{bmatrix}}_{A}= \underbrace{\begin{bmatrix}1&2&-1\\0&2&-2\\0&4&1\end{bmatrix}}_{B}$

同理，我們可以將操作$row3-row2*2$化爲消元矩陣$E_{32}*B$
$\underbrace{\begin{bmatrix}1&0&0\\0&1&0\\0&-2&1\end{bmatrix}}_{E_{32}} \underbrace{\begin{bmatrix}1&2&-1\\0&2&-2\\0&4&1\end{bmatrix}}_{B}= \underbrace{\begin{bmatrix}1&2&1\\0&2&-2\\0&0&5\end{bmatrix}}_{U}$

最終我們得到:$E_{32}(E_{21}A)=U$，觀察$E_{21},E_{32}$我們可以對單位矩陣$I=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$進行操作$row2-row1*3$得到$E_{21}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}$，對$I=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$進行操作$row3-row2*2$得到$\begin{bmatrix}1&0&0\\0&1&0\\0&-2&1\end{bmatrix}$。我們將$E_{21},E_{32}$稱爲初等變換。我們可以使用乘法結合律，先計算$E_{32} * E_{21}$，記做$E$,$E$就是整個消元過程的消元矩陣。

求消元矩陣就是把$A$每次變換的消元步驟操作在$I$矩陣上,得到相應的$E_{ij}$，最後累積得到$E$。

置換矩陣$P$

• $A_{n*n}$的置換矩陣$P$的數量個數爲$n^2$，其中包括單位陣$I$在內
• 置換$A$的兩行，置換矩陣$P$在$A$的左側
  $\underbrace{\begin{bmatrix}0&1\\1&0\end{bmatrix}}_{P}\underbrace{\begin{bmatrix}a&b\\c&d\end{bmatrix}}_{A}=\begin{bmatrix}c&d\\a&b\end{bmatrix}$
• 置換$A$的兩列，置換矩陣$P$在$A$的右側
  $\underbrace{\begin{bmatrix}a&b\\c&d\end{bmatrix}}_{A}\underbrace{\begin{bmatrix}0&1\\1&0\end{bmatrix}}_{P}=\begin{bmatrix}b&a\\d&c\end{bmatrix}$

逆矩陣

從上面我們可以得到:$P*A=U$，即用矩陣乘法對一個矩陣進行變化。現在我們考慮一個反過程，怎樣把$U$還原成矩陣$A$?
由$row2-row1*3$,我們得到$E_{21}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}$；現在我們進行相反操作$row2+row1*3$，得到$E_{21}^{-1}=\begin{bmatrix}1&0&0\\3&1&0\\0&0&1\end{bmatrix}$。
$E_{21}*E_{21}^{-1}=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix}*\begin{bmatrix}1&0&0\\3&1&0\\0&0&1\end{bmatrix}= \begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}=I$
我們將$E_{21}^{-1}$稱爲$E_{21}$的逆矩陣，逆矩陣是唯一的。