三、嶺迴歸

根據線性迴歸標準方程法的公式：

當數據特徵n>樣本個數m的時候，xTx會出現有一些行或者列全是0的情況，這就不是滿秩矩陣（沒有哪一行或列全是0），所以不可逆。

I這個單位矩陣的行列與xTx是一樣的，且單位矩陣I是滿秩矩陣，λ一般是一個比較小的數，xTx + λI 的結果就是一個滿秩矩陣。所以可逆。

嶺迴歸的公式是通過L2正則化推演出來的，推演過程如下：

沒有加上正則化的代價函數，稱之爲無偏估計，加上了正則化的代價函數稱之爲有偏估計，嶺迴歸是一種有偏估計。

λ的取值，需要滿足各回歸係數的嶺估計基本穩定的情況下，越小越好。