我們在數學課上學到的是如何如何 求特徵值與特徵向量。
在線性變換作用下，向量僅僅在尺度上變爲原來的倍。稱是線性變換的一個特徵向量，是對應的特徵值。
-
矩陣是一個表示二維空間的數組，矩陣可以看作是一個變換。在線性代數中，矩陣可以把一個向量變換到另一個位置，或者說從一個座標系變換到另一個座標系。矩陣的基，實際就是變換時所用的座標系。
-
矩陣乘法對應了一個變換，是把任意一個向量變成另一個方向或長度都大多不同的新向量。在這個變換過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某一個向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱爲這個矩陣的特徵向量，伸縮的比例就是特徵值。
-
任給矩陣A，並不是對所有的向量X它都能拉長（縮短）。凡是能被矩陣A拉長（縮短）的向量就稱爲矩陣A的特徵向量；拉長（縮短）的量就是這個特徵向量對應的特徵值。
-
一個矩陣可能拉長多個向量，因此它就可能有多個特徵值。
-
實對稱矩陣，不同特徵值對應的特徵向量必定正交。
-
一個變換矩陣的所有特徵向量組成了這個變換矩陣的一組基。所謂基，可以理解爲座標系的軸。我們平常用到的大多是直角座標系，在線性代數中可以把這個座標系，扭曲、拉伸、旋轉，成爲及變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證座標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就“撐”不起來了。在pca中，我們通過在拉伸最大的方向設基，忽略一些小的量，可以極大的壓縮數據而減少失真。
一個變換可由一個矩陣乘法表示，那麼一個空間座標系也可視作一個矩陣，而這個座標系就可由這個矩陣的所有特徵向量表示，用圖來表示的話，可以想象就是一個空間張開的各個座標角度，這一組向量可以完全表示一個矩陣表示的空間的“特徵”，而他們的特徵值就表示了各個角度上的能量（可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的“特徵”就越強，或者說顯性，而短軸自然就成了隱性特徵），因此，通過特徵向量/值可以完全描述某一幾何空間這一特點，使得特徵向量與特徵值在幾何（特別是空間幾何）及其應用中得以發揮。
也就是說，求特徵向量，就是把矩陣A所代表的空間進行正交分解，使得A的向量集合可以表示爲每個向量a在各個特徵向量上的投影長度。我們通常求特徵值和特徵向量即爲求出這個矩陣能使哪些向量只發生拉伸，而方向不發生變化，觀察其發生拉伸的程度。這樣做的意義在於，看清一個矩陣在哪些方面能產生最大的分散度（scatter），減少重疊，意味着更多的信息被保留下來。