scikit-learn學習（一）

廣義線性模型

普通最小二乘法（OLS）

模型各項接近線性關係時，會出現多重共線性的問題，有侷限性

解決方法：前向逐步迴歸，懲罰線性迴歸

正則化

1. L1正則化（Lasso迴歸）：
   在最小二乘法的最後加上 係數的L1範數，作爲懲罰項

Lasso能夠將一些作用比較小的特徵的參數訓練爲0，從而獲得稀疏解。也就是說用這種方法，在訓練模型的過程中實現了降維(特徵篩選)的目的。

Lasso是擬合稀疏係數的線性模型。 它在一些情況下是有用的，因爲它傾向於使用具有較少參數值的情況，有效地減少給定解決方案所依賴變量的數量。 因此，Lasso 及其變體是壓縮感知領域的基礎。 在一定條件下，它可以恢復一組非零權重的精確集

2. L2正則化（嶺迴歸）：
   在最小二乘法的最後加上 係數的L2範數，作爲懲罰項
   

交叉驗證

10折交叉驗證

將數據集分成十份，輪流將其中9份做訓練1份做驗證

#3折交叉驗證
reg = linear_model.RidgeCV(alphas=[0.1, 1.0, 10.0], cv=3)
reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])  

cross_val_score

運用cross_val_score進行交叉認證
函數在model_selection庫裏

# X:features  y:targets  cv:k折交叉驗證
cross_val_score(model_name, X, y, cv=k)