線性代數基礎概念與重要定義彙總

馬上要開始一大波夏令營面試了，前不久thu叉院的一面問到了概率分佈，沒有準備好，用了一週左右的時間斷斷續續的複習了一下線性代數，後面再概率論吧，主要總結了一些基礎知識，概念和性質。

一、行列式-計算方法與重要性質

$\color{red}\textbf{行列式定義}$
行列式的定義依賴於逆序數與全排列，需要注意的是，行列式只是方陣的概念。

---

$\color{red}\textbf{行列式計算以及性質}$
行列式的計算除了直接用定義以外，可以使用如下性質進行計算的簡化。

1、三角形行列式的值，等於對角線元素的乘積。計算時，一般需要多次運算來把行列式轉換爲上三角型或下三角型
2、交換行列式中的兩行（列），行列式變號（交換）
3、行列式中某行（列）的公因子，可以提出放到行列式之外。（倍乘）（注：矩陣是全部元素都乘，都提取）
4、行列式的某行乘以a，加到另外一行，行列式不變，常用於消去某些元素。（倍加）
5、若行列式中，兩行（列）完全一樣，則行列式爲0；可以推論，如果兩行（列）成比例，行列式爲0。
6、行列式展開：行列式的值，等於其中某一行（列）的每個元素與其代數餘子式乘積的和；但若是另一行（列）的元素與本行（列）的代數餘子式乘積求和，則其和爲0

---

$\color{red}\textbf{行列式重要公式}$

拉普拉斯展開式中，m，n分別是A,B矩陣的階數。

---

$\color{red}\textbf{方陣的行列式}$

• $|A^T|=|A|$
• $|kA|=k^n|A|$
• $|AB|=|A||B|$
• $|A^*|=|A|^{n-1}$，A是n階矩陣。
• $|A|^{-1}=|A^{-1}|$
• A的行列數是A所有特徵值的乘積。

---

相關博文：

https://blog.csdn.net/xuejianbest/article/details/85051344utm_medium=distribute.pc_relevant.none-task-blog-baidujs-2
https://blog.csdn.net/xuejianbest/article/details/85050784?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-6-85050784
https://blog.csdn.net/wuxintdrh/article/details/98424632?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F%E7%9A%84%E4%B8%BB%E8%A6%81%E5%85%AC%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-98424632

二、矩陣的秩，特徵值與特徵多項式

矩陣的特徵值刻畫矩陣的奇異性、反映矩陣所有對角元素的結構、刻畫矩陣的正定性。

---

$\color{red}\textbf{秩}$
一個矩陣A的列秩是A的線性獨立的縱列的極大數目。類似地，行秩是A的線性無關的橫行的極大數目。即如果把矩陣看成一個個行向量或者列向量，秩就是這些行向量或者列向量的秩，也就是極大無關組中所含向量的個數。

如果A中，存在一個i階子式不爲0，且所有i+1階子式對應的行列式值爲0，那麼r(A)=i（所謂的i階子式即在矩陣中人去一個i*i的方陣）

求矩陣的秩時，除了利用定義法和上面的觀察法，主要是通過性質，經過初等變換，矩陣秩不變。若A可逆，則r(AB)=r(BA)=r(B)

---

$\color{red}\textbf{特徵值與特徵向量}$

物理意義：我們可以將矩陣看成是一個力的混合體，但需要注意的是，這個力的混合體中各個力是相互獨立的！即特徵向量之間線性無關，是無法做力的合成（這裏只是假設其無法合成，有更好的解釋以後會補充）的。其中力的個數爲矩陣的秩，力的大小爲特徵值的大小，力的方向即爲特徵向量的方向。

詳細解釋見深度理解矩陣的奇異值，特徵值

$\color{red}\textbf{特徵多項式}$
A爲n階矩陣，若數λ和n維非0列向量x滿足Ax=λx，那麼數λ稱爲A的特徵值，x稱爲A的對應於特徵值λ的特徵向量。式Ax=λx也可寫成( A-λE)x=0，並且|λE-A|叫做A 的特徵多項式。當特徵多項式等於0的時候，稱爲A的特徵方程，特徵方程是一個齊次線性方程組，求解特徵值的過程其實就是求解特徵方程的解。

---

$\color{red}\textbf{特徵值相關的重要性質}$

• 設$A$是n階矩陣，$\lambda_1,..,\lambda_n$是矩陣$A$的特徵值，那麼我們有如下兩條性質$1:\sum\lambda_i=\sum a_{ii}，2:\prod\lambda_i=|A|$。
• 不同特徵值對應的特徵向量線性無關。
• 實對陣矩陣$A$的不同特徵值$\lambda_i$所對應的特徵向量$\alpha_i$必然正交。實對稱矩陣A的特徵值都是實數，特徵向量都是實向量。
• 下三角矩陣，上三角矩陣，對角矩陣的特徵值就是矩陣主對角線上的元素。

三、逆，奇異，正交，伴隨，實對稱，正定矩陣

$\color{red}\textbf{理解矩陣}$
一片很好的文章，在線性空間中，當你選定一組基之後，不僅可以用一個向量來描述空間中的任何一個對象，而且可以用矩陣來描述該空間中的任何一個運動（變換）。而使某個對象發生對應運動的方法，就是用代表那個運動的矩陣，乘以代表那個對象的向量。

簡而言之，在線性空間中選定基之後，向量刻畫對象，矩陣刻畫對象的運動，用矩陣與向量的乘法施加運動。這就是線性代數中所說的座標變換。

是的，矩陣的本質是運動的描述。如果以後有人問你矩陣是什麼，那麼你就可以響亮地告訴他，矩陣的本質是運動的描述。（chensh，說你呢！）

---

$\color{red}\textbf{矩陣的逆以及計算}$

設$A$是$n$階矩陣，如果存在$n$階矩陣$B$，使得$AB=BA=E(單位矩陣)$成立，那麼稱$A$爲可逆矩陣或者非奇異矩陣。

求出逆矩陣的3種手算方法：

• 待定係數法：對矩陣$A$，直接設一個全爲未知數的矩陣$B$，使得$AB=E$，解方程得到$B$的所有值。
• 伴隨矩陣法、A的伴隨矩陣是一個n×n的矩陣（記作adj(A)），使得其第i 行第j 列的元素是A關於第j 行第i 列的代數餘子式。
• 初等變換法（初等行變化用的比較多），將矩陣$A$，增廣爲$A|E$的形式，通過初等變化將其變爲$EA^{-1}$。

這三種方法百度百科講的無比清楚

---

$\color{red}\textbf{奇異矩陣和非奇異矩陣}$
以下內容來自於這裏

首先需要說明的值奇異矩陣和非奇異矩陣都是針對方陣而言的。奇異矩陣是線性代數的概念，就是對應的行列式等於0的矩陣。

非奇異矩陣的英文是nonsingular matrices，從對應的英文單詞nonsingular上來講，singular有一個含義是單數的，那麼nonsingular是非單數，與非奇異矩陣的性質對上了，即有矩陣A，矩陣B，滿足條件:AB=BA=I，I是一個單元矩陣，那麼矩陣A和矩陣B均爲非奇異矩陣。非奇異，即A不是單個的，是成對的。

奇異矩陣的判定方法：

行列式|A|是否等於0，若等於0，稱矩陣A爲奇異矩陣；

非奇異矩陣的判定方法：

一個矩陣非奇異當且僅當它的行列式不爲零。
一個矩陣非奇異當且僅當它代表的線性變換是個自同構。
一個矩陣非奇異當且僅當它的秩爲n。
(R(A)<n則行列式爲0) 可逆矩陣就是非奇異矩陣，非奇異矩陣也是可逆矩陣。**

---

$\color{red}\textbf{正交矩陣及其性質}$
如果：$AA^T=E$（E爲單位矩陣，$A^T$表示“矩陣A的轉置矩陣”。）或$A^TA=E$，則$n$階實矩陣$A$稱爲正交矩陣。

正交矩陣的性質：

1)$A^T$是正交矩陣
2)$A$的各行是單位向量且兩兩正交
3)$A$的各列是單位向量且兩兩正交
4)$|A|=1$或-1

---

$\color{red}\textbf{實對稱矩陣}$

如果有n階矩陣A，其矩陣的元素都爲實數，且矩陣A的轉置等於其本身（aij=aji）(i,j爲元素的腳標），則稱A爲實對稱矩陣。
主要性質：
1.實對稱矩陣A的不同特徵值對應的特徵向量是正交的。
2.實對稱矩陣A的特徵值都是實數，特徵向量都是實向量。
3.n階實對稱矩陣A必可相似對角化，且相似對角陣上的元素即爲矩陣本身特徵值。
4.若A具有k重特徵值λ0　必有k個線性無關的特徵向量，或者說秩r(λ0E-A)至多爲n-k，其中E爲單位矩陣。

---

$\color{red}\textbf{正定，半正定矩陣定義與重要性質}$

在線性代數裏，正定矩陣 (positive definite matrix) 有時會簡稱爲正定陣。在線性代數中，正定矩陣的性質類似複數中的正實數。與正定矩陣相對應的線性算子是對稱正定雙線性形式（復域中則對應埃爾米特正定雙線性形式）。

（1）廣義定義：設$M$是$n$階方陣，如果對任何非零向量$z$，都有$\mathbf{z^TMz> 0}$，其中$z^T$ 表示$z$的轉置，就稱$M$爲正定矩陣。

例如：B爲n階矩陣，E爲單位矩陣，a爲正實數。在a充分大時，aE+B爲正定矩陣。（B必須爲對稱陣）

（2）狹義定義：一個$n$階的實對稱矩陣M是正定的的條件是當且僅當對於所有的非零實係數向量z，都有$z^TMz> 0$。其中$z^T$表示$z$的轉置。

---

重要性質：

正定矩陣有以下性質 ：
（1）正定矩陣的行列式恆爲正；
（2）實對稱矩陣A正定當且僅當A與單位矩陣合同；
（3）若A是正定矩陣，則A的逆矩陣也是正定矩陣；
（4）兩個正定矩陣的和是正定矩陣；
（5）正實數與正定矩陣的乘積是正定矩陣。

---

等價命題：

對於n階實對稱矩陣A，下列條件是等價的：
（1）A是正定矩陣；
（2）A的一切順序主子式均爲正；
（3）A的一切主子式均爲正；
（4）A的特徵值均爲正；
（5）存在實可逆矩陣C，使A=C′C；
（6）存在秩爲n的m×n實矩陣B，使A=B′B；
（7）存在主對角線元素全爲正的實三角矩陣R，使A=R′R [3] 。

---

判定方法：

根據正定矩陣的定義及性質，判別對稱矩陣A的正定性有兩種方法：
（1）求出A的所有特徵值。若A的特徵值均爲正數，則A是正定的；若A的特徵值均爲負數，則A爲負定的。
（2）計算A的各階主子式。若A的各階主子式均大於零，則A是正定的；若A的各階主子式中，奇數階主子式爲負，偶數階爲正，則A爲負定的。

四、向量組與線性相關（無關）

$\color{red}\textbf{線性無關的定義}$
在線性代數裏，矢量空間的一組元素中，若沒有矢量可用有限個其他矢量的線性組合所表示，則稱爲線性無關或線性獨立 (linearly independent)，反之稱爲線性相關(linearly dependent)。

線性相關(Linear dependent)與線性無關(Linear independent)對於理解子空間的基，子空間的維數，以及矩陣的秩等等是重要的.

數學定義：

如果線性空間X中的向量組$\mathbf{x_1,x_2,...,x_j}$存在如下線性關係：

$\mathbf{k_1x_1+k_2x_2+,...,+k_jx_j=0, }$

其中$k_1,...,k_j$爲不全爲零的實數.則稱$\mathbf{x_1,x_2,...,x_j}$線性相關.如果只有當$k_1,...,k_j$全爲零時才滿足上式,則稱$\mathbf{x_1,x_2,...,x_j}$線性無關.

---

$\color{red}\textbf{向量組的秩}$
通俗的說，就是把這一組向量中的垃圾向量踢出後剩下的高品質向量的個數，假設這一組有5個向量，踢出兩個垃圾，還剩3個。

那麼這個向量組的秩就是3。那什麼是垃圾向量呢？就是能被別人線性表示的向量。比如說向量α1能被α2和α3線性表示，也就是它的工作能被別人取代。那麼α1就是垃圾向量！

正式定義：

一個向量組的極大線性無關組所包含的向量的個數，稱爲向量組的秩；若向量組的向量都是0向量，則規定其秩爲0.向量組α1，α2，···，αs的秩記爲R{α1，α2，···，αs}或rank{α1，α2，···，αs}。

極大線性無關組：

極大線性無關組（maximal linearly independent system）是線性空間的基對向量集的推廣。設V是域P上的線性空間，S是V的子集。若S的一部分向量線性無關，但在這部分向量中，加上S的任一向量後都線性相關，則稱這部分向量是S的一個極大線性無關組。V中子集的極大線性無關組不是惟一的，例如，V的基都是V的極大線性無關組。它們所含的向量個數（基數）相同。V的子集S的極大線性無關組所含向量的個數（基數），稱爲S的秩。只含零向量的子集的秩是零。V的任一子集都與它的極大線性無關組等價。特別地，當S等於V且V是有限維線性空間時，S的秩就是V的維數。–百度百科

五、線性方程組的解，與秩的關係

先給出兩個寫的很好的blog，1，2，然後結合他倆&書總結一下。

$\color{red}\textbf{線性方程組什麼時候無解？多個解？唯一解?}$
$非齊次線性方程組$
非齊次線性方程組:化簡後的有效方程組個數小於未知數個數，有多個解。
非齊次線性方程組:化簡後的有效方程組個數等於未知數個數，有唯一解。
非齊次線性方程組:化簡後的有效方程組出現(0=d)型式不兼容方程，則無解 。

下面從左到右依次是原方程，增廣矩陣（非齊次線性方程組，就是方程組的等式右邊不爲0的方程組，係數加上方程等式右邊的矩陣，叫做增廣矩陣），以及化簡後的增廣矩陣，化簡後的方程組。

這樣，x2可以通過x3來表示，x1也可以通過x3來表示，這樣x3就叫做自由變量，x3可以取任意值。所以x1,x2,x3就有無窮多個解。即化簡後的有效方程組個數，小於未知數個數。這樣的方程組有無窮多個解

---

$齊次線性方程組$

齊次線性方程組，就是方程組的等式右邊全部是0的方程組，只有係數矩陣，不需要增廣矩陣，所以不會出現{0=d}形式的不相容方程。所以不會出現無解的情況，那麼顯然，齊次線性方程組的秩與其係數矩陣的秩肯定是相等（因爲增廣了一列0，不影響秩的，也就是說它肯定有解。這個也好理解，零向量肯定是他的解嘛。關鍵問題在於，它什麼時候會有非零解。

對於Ax=0的齊次線性方程組，列出其係數矩陣（不需要增廣矩陣），使用高斯消元法化簡，化爲階梯形矩陣，化簡後，判斷有效方程組個數是否小於未知數個數，

如果有效方程組個數小於未知數個數，叫做有非零解（多個解）
如果等於，叫做只有零解（唯一解）

---

$\color{red}\textbf{通過矩陣的秩判斷線性方程組的解}$
線性方程組什麼時候無解，有多個解，唯一解？

對於非齊次線性方程組，用矩陣的秩r(A)來判斷

對線性方程組進行初等變換（高斯消元法），化爲最簡型（階梯形）矩陣，

考查係數矩陣$r(A)$，增廣矩陣$r(A,b)$，以及方程組未知數個數$n$

• 如果係數矩陣的秩$r(A)$小於增廣矩陣的秩$r(A,b)$，$r(A)<r(A,b)$，那麼方程組無解$r(A)<r(A,b)$，那麼方程組無解，即$b$不能由$A$的列向量線性表出；
• 如果系統矩陣的秩小於方程組未知數個數，$r(A)=r(A,b)<n$，那麼方程組有多個解$r(A)=r(A,b)<n$，那麼方程組有多個解。
• 如果系統矩陣的秩等於方程組未知數個數，$r(A)=r(A,b)=n$，那麼方程組有唯一解$r(A)=r(A,b)=n$，那麼方程組有唯一解。

對於齊次線性方程組，用行列式的值 detA來判斷。

• 不存在無解的情況

• $r(A)<n$時，等價於$A$的列向量線性相關，那麼方程的數目小於未知數的數目，一定有非零解。

• $r(A)=n$，即$|A|≠0$，$A$滿秩，則只有零解（只有唯一解）

• 設齊次方程組係數矩陣的秩$r(A)=r<n$，則$Ax=0$的基礎解系由$n-r(A)$個線性無關的解向量所構成。

---

$\color{red}\textbf{線性方程組的求解}$
寫出係數矩陣 -> 行初等變換爲行簡化矩陣 -> 求基礎解系 -> 寫出通解

這個例子還不錯，就是增廣矩陣不斷的進行初等變換，化爲行最簡矩陣（在階梯形矩陣中，若非零行的第一個非零元素全是1，且非零行的第一個元素1所在列的其餘元素全爲零，就稱該矩陣爲行最簡形矩陣。）

然後每個方程中的第一個未知量通常稱爲主變量，其餘的未知量稱之爲自由變量。對自由變量$x_1,...,x_k$依次取1，其餘取0時求得的解向量即方程的一個解向量，有多少個自由變量，就能求出多少解向量。總結一下：

對非齊次線性方程組而言：

六、二次型的基本內容和重要結論

$\color{red}\textbf{二次型的定義}$

二次型（quadratic-form）：n個變量的二次多項式稱爲二次型，即在一個多項式中，未知數的個數爲任意多個，但每一項的次數都爲2的多項式。線性代數的重要內容之一，它起源於幾何學中二次曲線方程和二次曲面方程化爲標準形問題的研究。二次型理論與域的特徵有關。

二次型是n個變量上的二次齊次多項式。下面給出一個、兩個、和三個變量的二次形式：（注意齊次這個定義很重要，每一項都是二次的，而不是二次函數可以有一次項，可以有常數項。）

將上面的多項式寫成矩陣的形式：
$f(x_1,x_2,...,x_i)=\mathbf{x^TAx}$
其中$\mathbf{A}=[a_{ij}]$且$\mathbf{A}^T=\mathbf{A}$是一個對稱矩陣，那麼稱$A$是二次型的矩陣，秩$r(A)$稱爲二次型的秩，記爲$r(f)$

---

$\color{red}\textbf{標準形，規範形，正定二次型}$

1. 標準形：如果二次型中只含有變量的平方項。
2. 規範形：在標準形中，各平方項的係數爲1，-1，0。
3. 正負慣性指數:在二次型$x^TAx$的標準形中，正平方項的個數稱爲二次型的正慣性指數，負平方項的係數稱爲二次型的負慣性指數。
4. 正定二次型：對二次型$x^TAx$，如果對任何$x\neq0$，恆友$x^TAx>0$，則稱二次型是正定二次型，且實對稱矩陣$A$是正定矩陣。