GBDT+LR算法進行特徵擴增

簡介
CTR估計也就是廣告點擊率預估，計算廣告訓練與平滑思想說明了是用LR算法對於預測的有效性。LR（Logistic Regression）是廣義線性模型，與傳統線性模型相比，LR通過Logit變換將函數值映射到0~1區間，映射後的函數就是CTR的預估值。LR模型十分適合並行化，因此對於大數據的訓練十分有效。但是對於線性模型而言，學習能力是有限的，因此需要大量的特徵工程預先分析出有效的特徵或者是特徵組合，從而去間接的增強LR的非線性學習能力。

特徵組合，是通過特徵的一些線性疊加或者非線性疊加得到一個新的特徵，可以有效的提高分類效果。常見的特徵組合方式有笛卡爾積方式。爲了降低人工組合特徵的工作量，FaceBook提出了一個自動特徵提取的方式GBDT+LR。

GBDT是梯度提升決策樹，首先會構造一個決策樹，首先在已有的模型和實際樣本輸出的殘差上再構造一顆決策樹，不斷地進行迭代。每一次迭代都會產生一個增益較大的分類特徵，因此GBDT樹有多少個葉子節點，得到的特徵空間就有多大，並將該特徵作爲LR模型的輸入。

1.核心問題
（1）建樹採用ensemble決策樹？
一棵樹的區分性是具有一定的限制的，但是多棵樹可以獲取多個具有區分度的特徵組合，而且GBDT的每一棵樹都會學習前面的樹的不足。

（2）建樹算法爲什麼採用GBDT而不是RF?
對於GBDT而言，前面的樹，特徵分裂主要體現在對多數樣本的具有區分度的特徵；後面的樹，主要體現的是經過前面n棵樹，殘差依然比較大的少數樣本。優先選用在整體上具有區分度的特徵，再選用針對少數樣本有區分度的特徵。

2.代碼實現

#導入包
import numpy as np
import random
import xgboost as xgb
import matplotlib
import matplotlib.pyplot as plt

from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from xgboost.sklearn import XGBClassifier


#生成隨機數據
np.random.seed(10)
X, Y = make_classification(n_samples=1000, n_features=30)
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, random_state=233, test_size=0.5)
X_train, X_train_lr, Y_train, Y_train_lr = train_test_split(X_train, Y_train, random_state=233, test_size=0.2)

#RandomForest + LogisticRegression

def RandomForestLR():
    RF = RandomForestClassifier(n_estimators=100, max_depth=4)
    RF.fit(X_train, Y_train)
    OHE = OneHotEncoder()
    OHE.fit(RF.apply(X_train))
    LR = LogisticRegression()
    LR.fit(OHE.transform(RF.apply(X_train_lr)), Y_train_lr)
    Y_pred = LR.predict_proba(OHE.transform(RF.apply(X_test)))[:, 1]
    fpr, tpr, _ = roc_curve(Y_test, Y_pred)
    auc = roc_auc_score(Y_test, Y_pred)
    print('RandomForest + LogisticRegression: ', auc)
    return fpr, tpr


#Xgboost + LogisticRegression

def XGBoostLR():
    XGB = xgb.XGBClassifier(nthread=4, learning_rate=0.08, n_estimators=100, colsample_bytree=0.5)
    XGB.fit(X_train, Y_train)
    OHE = OneHotEncoder()
    OHE.fit(XGB.apply(X_train))
    LR = LogisticRegression(n_jobs=4, C=0.1, penalty='l1')
    LR.fit(OHE.transform(XGB.apply(X_train_lr)), Y_train_lr)
    Y_pred = LR.predict_proba(OHE.transform(XGB.apply(X_test)))[:, 1]
    fpr, tpr, _ = roc_curve(Y_test, Y_pred)
    auc = roc_auc_score(Y_test, Y_pred)
    print('XGBoost + LogisticRegression: ', auc)
    return fpr, tpr


#GradientBoosting + LogisticRegression

def GBDTLR():
    GBDT = GradientBoostingClassifier(n_estimators=10)
    GBDT.fit(X_train, Y_train)
    OHE = OneHotEncoder()
    OHE.fit(GBDT.apply(X_train)[:, :, 0])
    LR = LogisticRegression()
    LR.fit(OHE.transform(GBDT.apply(X_train_lr)[:, :, 0]), Y_train_lr)
    Y_pred = LR.predict_proba(OHE.transform(GBDT.apply(X_test)[:, :, 0]))[:, 1]
    fpr, tpr, _ = roc_curve(Y_test, Y_pred)
    auc = roc_auc_score(Y_test, Y_pred)
    print('GradientBoosting + LogisticRegression: ', auc)
    return fpr, tpr


#LogisticRegression

def LR():
    LR = LogisticRegression(n_jobs=4, C=0.1, penalty='l1')
    LR.fit(X_train, Y_train)
    Y_pred = LR.predict_proba(X_test)[:, 1]
    fpr, tpr, _ = roc_curve(Y_test, Y_pred)
    auc = roc_auc_score(Y_test, Y_pred)
    print('LogisticRegression: ', auc)
    return fpr, tpr

#XGBoost

def XGBoost():
    XGB = xgb.XGBClassifier(nthread=4, learning_rate=0.08, n_estimators=100, colsample_bytree=0.5)
    XGB.fit(X_train, Y_train)
    Y_pred = XGB.predict_proba(X_test)[:, 1]
    fpr, tpr, _ = roc_curve(Y_test, Y_pred)
    auc = roc_auc_score(Y_test, Y_pred)
    print('XGBoost: ', auc)
    return fpr, tpr

#調用並繪製圖像

if __name__ == '__main__':
    fpr_xgb_lr, tpr_xgb_lr = XGBoostLR()
    fpr_xgb, tpr_xgb = XGBoost()
    fpr_lr, tpr_lr = LR()
    fpr_rf_lr, tpr_rf_lr = RandomForestLR()
    fpr_gbdt_lr, tpr_gbdt_lr = GBDTLR()

    plt.figure(1)
    plt.plot([0, 1], [0, 1], 'k--')
    plt.plot(fpr_rf_lr, tpr_rf_lr, label='RF + LR')
    plt.plot(fpr_gbdt_lr, tpr_gbdt_lr, label='GBT + LR')
    plt.plot(fpr_xgb, tpr_xgb, label='XGB')
    plt.plot(fpr_lr, tpr_lr, label='LR')
    plt.plot(fpr_xgb_lr, tpr_xgb_lr, label='XGB + LR')
    plt.xlabel('False positive rate')
    plt.ylabel('True positive rate')
    plt.title('ROC curve')
    plt.legend(loc='best')
    plt.show()

    plt.figure(2)
    plt.xlim(0, 0.2)
    plt.ylim(0.8, 1)
    plt.plot([0, 1], [0, 1], 'k--')
    plt.plot(fpr_rf_lr, tpr_rf_lr, label='RF + LR')
    plt.plot(fpr_gbdt_lr, tpr_gbdt_lr, label='GBT + LR')
    plt.plot(fpr_xgb, tpr_xgb, label='XGB')
    plt.plot(fpr_lr, tpr_lr, label='LR')
    plt.plot(fpr_xgb_lr, tpr_xgb_lr, label='XGB + LR')
    plt.xlabel('False positive rate')
    plt.ylabel('True positive rate')
    plt.title('ROC curve (zoomed in at top left)')
    plt.legend(loc='best')
    plt.show()

參考：

https://blog.csdn.net/TwT520Ly/article/details/79769705

https://blog.csdn.net/anshuai_aw1/article/details/82983997