超平面，半空間，多面體，單純形定義與解析

深入理解仿射集，凸集，錐等定義及相關證明，這裏列出一些常用的凸集，和一些球，空間，多面體，單純形之類的正式定義，並討論他們和凸集的關係。

$\color{red}\mathbf{R^n空間與子空間}$
他既是凸集，也是仿射集，也是凸錐。那麼如果我們任意的選擇一個子空間，他是否還滿足上述性質？

定義：$R^n$空間的子空間：子空間一定具有原點，子空間中的任意加減和標量乘法操作都落在子空間內部。x,y軸即是二維空間的一維子空間。因此任意的子空間仍然既是凸集，也是仿射集，也是凸錐。

---

$\color{red}\textbf{任意直線}$
過原點的直線是二維空間的一維子空間，因此其一定滿足既是凸集，也是仿射集，也是凸錐。但是如果他不過原點，那他不是凸錐，但是是凸集和仿射集。

---

$\color{red}\textbf{任意線段}$

任意線段都是凸集，線段往往不是仿射集，也不是凸錐，當線段縮減爲一個點的時候，他是一個仿射集，當線段縮減爲一個點而且是原點的時候，他是一個凸錐。

---

$\color{red}\mathbf{\{x_0+\theta V|\theta\geq 0\}x_0\in R^n\;;\theta\in R\;;V\in R^n}$
這是個什麼東西呢？這是一個射線，從$x_0$開始沿着$V$的方向的射線。一般情況他不是仿射集，當他縮減爲一個點的時候，它會成爲一個仿射集。任意情況下她都是一個凸集。

---

$\color{red}\textbf{超平面與半空間}$
$Hyperplane:\{x|a^Tx=b\}x,a\in R^n;b\in R;a!=0$
所謂的超平面是一個集合，超平面不侷限於二維的平面，下面的直線就是二維空間的超平面，三維空間的超平面是一個平面，思維空間的超平面則是立體的空間。

$Half space$
上圖中的直線分隔開來的兩個部分稱之爲半空間，兩個空間一樣大(無窮級數的概念)。

• 一個超平面一定是一個凸集，也是一個仿射集，因爲超平面的定義本身就類似於直線的定義。如果該超平面恰好過原點，那麼他也是一個凸錐，否則不是凸錐。
• 半空間一定是一個凸集，但是不一定是一個仿射集，也不一定是一個凸錐（仍然是過原點的部分是凸錐）。

---

$\color{red}\textbf{球}$
$B(x_c,r)=\{x|||x-x_c||_2\leq r\}=\{x|\sqrt{(x-x_c)^T(x-x_c)}\}；x_c\in R^n,r\in R$
球的定義是顯而易見的。球一定是一個凸集，一般不是仿射集（除非半徑爲0），一般不是凸錐（除非半徑爲0且落在原點上。）

$\color{red}\textbf{凸集證明}$
爲了證明球是一個凸集，我們需要驗證以下不等式是成立的
$||\theta x_1+(1-\theta )x_2-x_c||_2\leq r$
也就是任意選擇兩個點的線性組合的減去圓心的二模依舊是在圓內部的，這裏我們需要用到三角不等式$||a+b||\leq ||a||+||b||$，於是我們得到$||\theta x_1+(1-\theta )x_2-x_c||_2\leq ||\theta(x_1-x_c)||+||(1-\theta)(x_2-x_c)||\leq r$。

---

$\color{red}\textbf{橢球}$
$E(x_c,P)=\{x|(x-x_c)^TP^{-1}(x-x_c)\leq 1\};x_c\in R^n,P\in S^n_{++}$
$S^n_{++}$，表示對稱的正定矩陣（正定矩陣即特徵值全部大於0）。上面的橢球其實也是一個二範數，只不過它通過$P$矩陣進行了加權。這個P矩陣描述的是橢球的半軸長，如果P是二維的，那麼他有兩個奇異值，這兩個奇異值分別對應橢球的一個半軸長。

---

$\color{red}\textbf{多面體polyhedron}$
$P=\{x|a_j^Tx\leq b_j,j=1...m;c_j^Tx=d_j,j=1...n\}$
注意他的限制條件，$a_j^Tx\leq b_j$是半空間的約束條件，$c_j^Tx=d_j,$是超平面的約束條件，因此多面體實際上是一系列的半空間和超平面的交集。

需要注意的是，多面體不一定是有界的，考慮只有半空間的限制條件$a_j^Tx\leq b_j$那麼這個多面體其實就是一個半空間。那麼對於我們常見的多面體（在固定範圍內的面積有限的多面體我們稱之爲有限多面體），多面體是凸集。

---

$\color{red}\textbf{單純形simplex}$
$R^n$空間中選擇$v_0,...,v_k$共$k+1$個點，如果滿足限制條件$\color{blue}v_1-v_0,...,v_k-v_0$線性無關，則與上述點相關的單純形爲
$C= ConV\{v_0,...,v_k\}=\{\theta_0v_0+...+\theta_kv_k\};\forall \theta_i>0,\sum_{i=1}^n\theta_i=1$
$ConV$是凸包的定義，從這些點構造出來的凸包，對二維空間而言，兩個點的單純性就是他們之間的線段，三個點的單純形（三點不共線）他們的單純形就是一個三角形，二維空間中任意兩個向量可以表示另一個向量，所以不存在四個點以上可以構造出單純形。

類似的在三維空間中最多選擇四個點滿足線性無關的條件，他們會構成一個四面體，在三維空間中我們不可能找到一個五面體六面體。

---

$證明：單純形是多面體的一種$

對於一個單純形，我們有 $C= ConV\{v_0,...,v_k\}=\{\theta_0v_0+...+\theta_kv_k\};\forall \theta_i>0,\sum_{i=1}^n\theta_i=1$，$v_1-v_0,...,v_k-v_0$線性無關。我們定義
$[\theta_1,\theta_2,...,\theta_k]^T=y,y\geq 0,1^Ty\leq 1$
注意上面我們把$\theta_0$去掉了，因此結果小於1而不是等於1.
定義：
$[v_1-v_0,...,v_k-v_0]=B\in R^{n*k}$
此時，對於任意的$x\in C$,我們可以寫爲$x=\theta_0 v_0+...+\theta_k v_k$這樣一個凸組合。他就等價於$\color{red}v_0+\theta_1(v_1-v_0)+...+\theta_k(v_k-v_0)=v_0+By$。

因爲$B$的每個向量都是線性無關的，那麼$B$的秩一定等於$k,k\leq n$，也就是一個列滿秩的矩陣。那麼我們可以通過線性變化將他轉化爲這樣形式的矩陣：

那麼我們將上述等式變化爲$Ax=Av_0+ABy$，只要這裏的矩陣A是非奇異的，我們可以進行逆運算在等式兩側互相轉換。精華部分來了！

首先我們使用A矩陣，將B拆分成上述形式（上面n*n單位陣，下面全零），此時我們可以吧該式分成兩部分（也就到了式3，注意因爲$A_1B$是單位陣所以第一個等式留下了$y$，而第二個等式沒有$y$）。此時需要注意的是，$y$是可以變化的，而在單純形的定義中，我們知道$y\geq 0,1^Ty\leq 1$，於是我們帶入現在的方程，就得到了兩個不等式約束，和一個等式條件，也就是說在這個單純形內部，給定任意一個$x$，我們都可以用這個式子描述，而且這個式子可以描述單純形中任意一個$x$，又因爲這些約束條件都是線性約束，所以任意的一個單純形，都是一個多面體

---

$\color{red}\textbf{對稱矩陣集合 } S^n=\{x\in R^{n*n}|x=x^T\}$
$\color{red}\textbf{對稱半正定矩陣集合 } S_+^n=\{x\in R^{n*n}|x=x^T;x\succeq0\}$
$\color{red}\textbf{對稱正定矩陣集合 } S_{++}^n=\{x\in R^{n*n}|x=x^T;x\succ0\}$
注意上面不是大於號，一般用大於號表示矩陣內部元素全部大於某個值，而上面的符號表示所有特徵值大於某個值，（也就是到底是非負矩陣還是半正定矩陣）

對稱半正定矩陣是一個凸錐，而正定矩陣特徵值不能等於零，在矩陣空間中不過原點，那麼不是凸錐，但是凸集。