python sklearn包——cross-validation

官方cross-validation

模型評估方式詳細說明

 

模型評估（預測的質量）：存在三種方式來評估預測結果的質量

1、Estimator score method：每個估計模型都有自己的評價方式，可以直接使用

2、Scoring parameter：模型評價工具使用cross-validation(cross_validation.cross_val_score和grid_search.GridSearch)

3、Metric functions: 實現功能評估爲特定目的的功能

交叉驗證（cross-validation）

1)切分數據：使用train_test_split函數很容易的實現隨機的切分形成training和test數據集。

x_train,x_test,y_train,y_test=cross_validation.train_test_split(iris.data,iris.target,test_size=0.4,random_state=0)

clf.svm.SVC(kernel='linear',C=1).fit(x_train,y_train)

clf.score(x_test,y_test)

2）cv：最簡單的方式是使用函數cross_val_score，當cv爲數字時，默認採用的是KFold或者stratifiedKFold

clf=svm.SVC(kernel='linear',C=1)

scores=cross_validation.cross_val_score(clf,iris.data,iris.target,cv=5)

scores==>得到array([1. ..., 0.96..., 0.9 ..., 0.96..., 1. ])

平均分數和標準偏差估計分數：scores.mean()  scores.std()

上面的方式cv的每次迭代都是計算的score，我們可以通過加入scoring參數來計算不同的指標

from sklearn import metrics

cross_validation.cross_val_score(clf,iris.data,iris.target,cv=5,scoring='f1')

==>得到array([ 1. ..., 0.96..., 0.89..., 0.96..., 1. ])

注：scoring的默認取值以及對應的函數名稱

 Classification 

‘accuracy’sklearn.metrics.accuracy_score

‘average_precision’sklearn.metrics.average_precision_score

‘f1’sklearn.metrics.f1_score f1就是F-measure

‘precision’sklearn.metrics.precision_score

‘recall’sklearn.metrics.recall_score

‘roc_auc’sklearn.metrics.roc_auc_score

Clustering 

‘adjusted_rand_score’sklearn.metrics.adjusted_rand_score

Regression

 ‘mean_squared_error’sklearn.metrics.mean_squared_error

‘r2’sklearn.metrics.r2_score

sklearn classification_report函數能詳細給出各個類別的P，R，F。

Figure 1: sklearn classification_report函數