機器學習數學基礎——線性代數部分

1. 向量基本運算

(1) 實數與向量的積的運算，設 $\lambda,\mu$ 爲實數：

結合律： $\lambda(\mu\vec{a})=(\lambda\mu)\vec{a}$
第一分配律： $(\lambda+\mu)\vec{a}=\lambda\vec{a}+\mu\vec{a}$
第二分配律： $\lambda(\vec{a}+\vec{b})=\lambda\vec{a}+\lambda\vec{b}$
(2) 向量數量積的運算律：
$a·b=b·a$
$(\lambda a)·b=\lambda(a·b)=\lambda a·b=a·(\lambda b)$
(a+b)·c=a·c+b·c
(3) 平面向量基本定理：
如果在同一個平面內存在兩個不共線的向量，那麼這個平面內的任意向量，都可由兩個不共線向量唯一表示。
(4) 向量的內積(或數量積):
$a·b = |a||b|\cos\theta$ 其幾何意義是 $a$ 的長度 $|a|$ 與 $b$ 在 $a$ 的方向上的投影 $|b|\cos\theta$ 的乘積

2. 向量與矩陣的範數(L1範數，L2範數，Lp範數)

範數簡單來說就是一種距離的定義，是一種強化了的距離概念，比距離多了一條數乘的運算法則。通常將其作爲距離來進行理解。
範數(norm)是數學中的一種基本概念。在泛函分析中，它定義在賦範線性空間中，並滿足一定的條件，即①非負性；②齊次性；③三角不等式。它常常被用來度量某個向量空間（或矩陣）中的每個向量的長度或大小。
0範數：向量中非零元素的個數。

1-範數：爲絕對值之和
向量範數： $||x||_1=\sum_{i=1}^N|x_i|$ ，即向量元素絕對值之和
矩陣範數：假設矩陣 $n$ 行 $m$ 列，那麼其一階範數 $||A||_1 = \max_{1\leq j\leq n}\sum_{i=1}^m|a_{i,j}|$ ，即矩陣中所有列向量絕對值之和的最大值。

2-範數：通常意義上的模
向量範數： $||x||_2=\sqrt{\sum_{i=1}^Nx_i^2}$ ，即向量元素的平方和再開根。
矩陣範數： $||A||_2=\sqrt{\lambda_{\max}(A^TA)}=\sqrt{max_{1\leq i\leq n}|\lambda_i|}$ ，即矩陣 $A^TA$ 的最大特徵值開平方。