**過擬合：**如果模型在訓練集上好，在測試集上不好，那麼就會出現過擬合。多項式擴展的時候，如果指定的階數比較大，那麼可能存在過擬合。從線性迴歸中講，我們認爲訓練出來的模型參數越大，就表示越存在過擬合的情況，就是學習效果太針對特定的情景。
爲了解決過擬合的問題：我們可以選擇在損失函數中添加懲罰項（對於係數過大的懲罰），主要分爲L1_Norm（LASSO迴歸）和L2_Norm（嶺迴歸）.如下圖所示：
L2-norm中懲罰項的推倒過程：
Ridge(L2-norm)和LASSO(L1-norm)比較
第一
L2-norm中，由於對於各個維度的參數縮放是在一個圓內縮放的，不可能導致
有維度參數變爲0的情況，那麼也就不會產生稀疏解；實際應用中，數據的維度
中是存在噪音和冗餘的，稀疏的解可以找到有用的維度並且減少冗餘，提高迴歸
預測的準確性和魯棒性（減少了overfitting）(L1-norm可以達到最終解的稀疏
性的要求)
第二、
Ridge(L2-norm)模型具有較高的準確性、魯棒性以及穩定性；LASSO(L1-norm)模型具有較高的求解
速度
第三
如果既要考慮穩定性也考慮求解的速度，就使用Elasitc Net
如下圖所示：
L1和L2正則，都中的
都是上面兩個式中最小二乘部分的最優解。從圖中可以看出，L1正則（下圖左），更容易找到最優解。
這兩個正則各有利弊，那麼應該選擇正則1還是正則2呢。如果兩者都考慮的話，我們就引入了，彈性網絡—既同時使用L1正則和L2正則的線性迴歸模型就稱爲Elasitc Net算法(彈性網絡算法)
p爲選擇L1正則的概率。
模型效果判斷
