機器學習 -- 多項式迴歸（Ⅸ L1，L2正則和彈性網）

比較Ridge和LASSO

一. L1，L2正則

1. 明可夫斯基距離：

2.  範數：

3. L1正則項和L2正則項：

模型正則化中，通常不會使用p>2的正則項。

4. L0正則：

讓  的個數儘量小（非零  元素個數）

實際上不用L0正則，因爲L0正則的優化是一個NP難的問題，一般用L1取代。

 

二. 彈性網 Elastic Net

        在損失函數下，添加上一個L1正則項和一個L2正則項，並引入一個參數r來表示他們之間的比例。同時結合了嶺迴歸和LASSO迴歸的優勢。

        實際應用中，通常應該先嚐試一下嶺迴歸（如果計算能力足夠的話）。但是如果θ數量太大（特徵數量太多）的話，消耗計算資源可能非常大，而LASSO由於有的時候急於把一些θ化爲0，可能會導致得到的偏差比價大。這個時候需要使用彈性網。