2.“未來杯 城市-房產租金預測”之數據清洗

原創 陈小虾 2020-07-03 15:35

文章目錄

數據清洗工作是數據分析工作中不可缺少的步驟，這是因爲數據清洗能夠處理掉骯髒數據，如果不清洗數據的話，那麼數據分析的結果準確率會變得極低。

一般來說，數據清理是將數據庫精簡以除去重複記錄，並使剩餘部分轉換成標準可接收格式的過程。數據清理標準模型是將數據輸入到數據清理處理器，通過一系列步驟“ 清理”數據，然後以期望的格式輸出清理過的數據。數據清理從數據的準確性、完整性、一致性、惟一性、適時性、有效性幾個方面來處理數據的丟失值、越界值、不一致代碼、重複數據等問題。

一、簡要分析

在任務一中，我們對於賽題、數據總體情況、缺失值、特徵分佈等信息做了簡要的分析。在本次任務中就是基於任務一的分析做數據清理工作。

在一些場景中，任務一和任務二合併起來會被稱作EDA(Exploratory Data Analysis-探索性數據分析)。當然真正的EDA包含的內容遠不止這兩份參考示例所展示了，大家可以自行學習嘗試。

參考資料：一文帶你探索性數據分析(EDA)

二、缺失值處理

由於調查、編碼和錄入誤差，數據中可能存在一些無效值和缺失值，需要給予適當的處理。常用的處理方法有：估算，整例刪除，變量刪除和成對刪除。

#coding:utf-8
#導入warnings包，利用過濾器來實現忽略警告語句。
import warnings
warnings.filterwarnings('ignore')

# GBDT
from sklearn.ensemble import GradientBoostingRegressor
# XGBoost
import xgboost as xgb
# LightGBM
import lightgbm as lgb

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import KFold
from sklearn.metrics import r2_score
from sklearn.preprocessing import LabelEncoder
import pickle
import multiprocessing
from sklearn.preprocessing import StandardScaler
ss = StandardScaler() 
from sklearn.model_selection import StratifiedKFold
from sklearn.linear_model import ElasticNet, Lasso,  BayesianRidge, LassoLarsIC,LinearRegression,LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import RobustScaler
from sklearn.model_selection import train_test_split
from sklearn.ensemble import IsolationForest

#載入數據
data_train = pd.read_csv('F:\\實驗\\比賽\\房價預測\\數據集\\train_data.csv')
data_train['Type'] = 'Train'
data_test = pd.read_csv('F:\\實驗\\比賽\\房價預測\\數據集\\test_a.csv')
data_test['Type'] = 'Test'
data_all = pd.concat([data_train, data_test], ignore_index=True)

  • 主要思路分析：

雖然這步驟是缺失值處理，但還會涉及到一些最最基礎的數據處理。

1.缺失值處理：

  • 缺失值的處理手段大體可以分爲：刪除、填充、映射到高維(當做類別處理)。
  • 根據任務一，直接找到的缺失值情況是pu和pv；
  • 但是，根據特徵nunique分佈的分析，可以發現rentType存在"–"的情況，這也算是一種缺失值。
  • 此外，諸如rentType的"未知方式"；houseToward的"暫無數據"等，本質上也算是一種缺失值，但是對於這些缺失方式，我們可以把它當做是特殊的一類處理，而不需要去主動修改或填充值。
  • 將rentType的"–"轉換成"未知方式"類別；
  • pv/pu的缺失值用均值填充；
  • buildYear存在"暫無信息"，將其用衆數填充。

2.轉換object類型數據：

  • 這裏直接採用LabelEncoder的方式編碼，詳細的編碼方式請自行查閱相關資料學習。

3.時間字段的處理：

  • buildYear由於存在"暫無信息",所以需要主動將其轉換int類型；
  • tradeTime，將其分割成月和日。

4.刪除無關字段：

  • ID是唯一碼，建模無用，所以直接刪除；
  • city只有一個SH值，也直接刪除；
  • tradeTime已經分割成月和日，刪除原來字段
def preprocessingData(data):
    # 填充缺失值
    data['rentType'][data['rentType'] == '--'] = '未知方式'
    
    # 轉換object類型數據
    columns = ['rentType','communityName','houseType', 'houseFloor', 'houseToward', 'houseDecoration',  'region', 'plate']
    
    for feature in columns:
        data[feature] = LabelEncoder().fit_transform(data[feature])

    # 將buildYear列轉換爲整型數據
    buildYearmean = pd.DataFrame(data[data['buildYear'] != '暫無信息']['buildYear'].mode())
    data.loc[data[data['buildYear'] == '暫無信息'].index, 'buildYear'] = buildYearmean.iloc[0, 0]
    data['buildYear'] = data['buildYear'].astype('int')

    # 處理pv和uv的空值
    data['pv'].fillna(data['pv'].mean(), inplace=True)
    data['uv'].fillna(data['uv'].mean(), inplace=True)
    data['pv'] = data['pv'].astype('int')
    data['uv'] = data['uv'].astype('int')

    # 分割交易時間
    def month(x):
        month = int(x.split('/')[1])
        return month
    def day(x):
        day = int(x.split('/')[2])
        return day
    data['month'] = data['tradeTime'].apply(lambda x: month(x))
    data['day'] = data['tradeTime'].apply(lambda x: day(x))
    
    # 去掉部分特徵
    data.drop('city', axis=1, inplace=True)
    data.drop('tradeTime', axis=1, inplace=True)
    data.drop('ID', axis=1, inplace=True)
    return data

data_train = preprocessingData(data_train)

三、異常值處理

  • 主要思路分析

這裏主要針對area和tradeMoney兩個維度處理。
針對tradeMoney，這裏採用的是IsolationForest模型自動處理；
針對areahetotalFloor是主觀+數據可視化的方式得到的結果。

參考資料：iForest （Isolation Forest）孤立森林 異常檢測 入門篇

# clean data
def IF_drop(train):
    IForest = IsolationForest(contamination=0.01)
    IForest.fit(train["tradeMoney"].values.reshape(-1,1))
    y_pred = IForest.predict(train["tradeMoney"].values.reshape(-1,1))
    drop_index = train.loc[y_pred==-1].index
    print(drop_index)
    train.drop(drop_index,inplace=True)
    return train

data_train = IF_drop(data_train)

結果：
在這裏插入圖片描述

def dropData(train):
    # 丟棄部分異常值
    train = train[train.area <= 200]
    train = train[(train.tradeMoney <=16000) & (train.tradeMoney >=700)]
    train.drop(train[(train['totalFloor'] == 0)].index, inplace=True)
    return train  
#數據集異常值處理
data_train = dropData(data_train)

# 處理異常值後再次查看面積和租金分佈圖
plt.figure(figsize=(15,5))
sns.boxplot(data_train.area)
plt.show()
plt.figure(figsize=(15,5))
sns.boxplot(data_train.tradeMoney),
plt.show()

結果：
在這裏插入圖片描述

四、深度清洗

  • 主要思路分析

針對每一個region的數據，對area和tradeMoney兩個維度進行深度清洗。 採用主觀+數據可視化的方式。

def cleanData(data):
    data.drop(data[(data['region']=='RG00001') & (data['tradeMoney']<1000)&(data['area']>50)].index,inplace=True)
    data.drop(data[(data['region']=='RG00001') & (data['tradeMoney']>25000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00001') & (data['area']>250)&(data['tradeMoney']<20000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00001') & (data['area']>400)&(data['tradeMoney']>50000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00001') & (data['area']>100)&(data['tradeMoney']<2000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00002') & (data['area']<100)&(data['tradeMoney']>60000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['area']<300)&(data['tradeMoney']>30000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['tradeMoney']<500)&(data['area']<50)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['tradeMoney']<1500)&(data['area']>100)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['tradeMoney']<2000)&(data['area']>300)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['tradeMoney']>5000)&(data['area']<20)].index,inplace=True)
    data.drop(data[(data['region']=='RG00003') & (data['area']>600)&(data['tradeMoney']>40000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00004') & (data['tradeMoney']<1000)&(data['area']>80)].index,inplace=True)
    data.drop(data[(data['region']=='RG00006') & (data['tradeMoney']<200)].index,inplace=True)
    data.drop(data[(data['region']=='RG00005') & (data['tradeMoney']<2000)&(data['area']>180)].index,inplace=True)
    data.drop(data[(data['region']=='RG00005') & (data['tradeMoney']>50000)&(data['area']<200)].index,inplace=True)
    data.drop(data[(data['region']=='RG00006') & (data['area']>200)&(data['tradeMoney']<2000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00007') & (data['area']>100)&(data['tradeMoney']<2500)].index,inplace=True)
    data.drop(data[(data['region']=='RG00010') & (data['area']>200)&(data['tradeMoney']>25000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00010') & (data['area']>400)&(data['tradeMoney']<15000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00010') & (data['tradeMoney']<3000)&(data['area']>200)].index,inplace=True)
    data.drop(data[(data['region']=='RG00010') & (data['tradeMoney']>7000)&(data['area']<75)].index,inplace=True)
    data.drop(data[(data['region']=='RG00010') & (data['tradeMoney']>12500)&(data['area']<100)].index,inplace=True)
    data.drop(data[(data['region']=='RG00004') & (data['area']>400)&(data['tradeMoney']>20000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00008') & (data['tradeMoney']<2000)&(data['area']>80)].index,inplace=True)
    data.drop(data[(data['region']=='RG00009') & (data['tradeMoney']>40000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00009') & (data['area']>300)].index,inplace=True)
    data.drop(data[(data['region']=='RG00009') & (data['area']>100)&(data['tradeMoney']<2000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00011') & (data['tradeMoney']<10000)&(data['area']>390)].index,inplace=True)
    data.drop(data[(data['region']=='RG00012') & (data['area']>120)&(data['tradeMoney']<5000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00013') & (data['area']<100)&(data['tradeMoney']>40000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00013') & (data['area']>400)&(data['tradeMoney']>50000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00013') & (data['area']>80)&(data['tradeMoney']<2000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['area']>300)&(data['tradeMoney']>40000)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['tradeMoney']<1300)&(data['area']>80)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['tradeMoney']<8000)&(data['area']>200)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['tradeMoney']<1000)&(data['area']>20)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['tradeMoney']>25000)&(data['area']>200)].index,inplace=True)
    data.drop(data[(data['region']=='RG00014') & (data['tradeMoney']<20000)&(data['area']>250)].index,inplace=True)
    data.drop(data[(data['region']=='RG00005') & (data['tradeMoney']>30000)&(data['area']<100)].index,inplace=True)
    data.drop(data[(data['region']=='RG00005') & (data['tradeMoney']<50000)&(data['area']>600)].index,inplace=True)
    data.drop(data[(data['region']=='RG00005') & (data['tradeMoney']>50000)&(data['area']>350)].index,inplace=True)
    data.drop(data[(data['region']=='RG00006') & (data['tradeMoney']>4000)&(data['area']<100)].index,inplace=True)
    data.drop(data[(data['region']=='RG00006') & (data['tradeMoney']<600)&(data['area']>100)].index,inplace=True)
    data.drop(data[(data['region']=='RG00006') & (data['area']>165)].index,inplace=True)
    data.drop(data[(data['region']=='RG00012') & (data['tradeMoney']<800)&(data['area']<30)].index,inplace=True)
    data.drop(data[(data['region']=='RG00007') & (data['tradeMoney']<1100)&(data['area']>50)].index,inplace=True)
    data.drop(data[(data['region']=='RG00004') & (data['tradeMoney']>8000)&(data['area']<80)].index,inplace=True)
    data.loc[(data['region']=='RG00002')&(data['area']>50)&(data['rentType']=='合租'),'rentType']='整租'
    data.loc[(data['region']=='RG00014')&(data['rentType']=='合租')&(data['area']>60),'rentType']='整租'
    data.drop(data[(data['region']=='RG00008')&(data['tradeMoney']>15000)&(data['area']<110)].index,inplace=True)
    data.drop(data[(data['region']=='RG00008')&(data['tradeMoney']>20000)&(data['area']>110)].index,inplace=True)
    data.drop(data[(data['region']=='RG00008')&(data['tradeMoney']<1500)&(data['area']<50)].index,inplace=True)
    data.drop(data[(data['region']=='RG00008')&(data['rentType']=='合租')&(data['area']>50)].index,inplace=True)
    data.drop(data[(data['region']=='RG00015') ].index,inplace=True)
    data.reset_index(drop=True, inplace=True)
    return data

data_train = cleanData(data_train)
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

3.“未來杯 城市-房產租金預測”之特徵工程

文章目錄一、特徵工程1.1 特徵合併1.2 計算統計特徵1.3 groupby方法生成統計特徵1.4 聚類方法1.5 log平滑二、特徵選擇2.1 相關係數法2.2 Wrapper2.3 Embedded2.4 基於樹模型的特徵

陈小虾 2020-07-03 15:35:05

推薦系統簡介

陈小虾 2020-02-22 00:03:33

1.“未來杯 城市-房產租金預測”之任務分析

陈小虾 2020-02-22 00:03:32

4.“未來杯 城市-房產租金預測”之模型選擇

陈小虾 2020-02-22 00:03:32

3.“未來杯 城市-房產租金預測”之特徵工程

文章目錄一、特徵工程1.1 特徵合併1.2 計算統計特徵1.3 groupby方法生成統計特徵1.4 聚類方法1.5 log平滑二、特徵選擇2.1 相關係數法2.2 Wrapper2.3 Embedded2.4 基於樹模型的特徵

陈小虾 2020-07-03 15:35:05

推薦系統簡介

陈小虾 2020-02-22 00:03:33

1.“未來杯 城市-房產租金預測”之任務分析

陈小虾 2020-02-22 00:03:32

4.“未來杯 城市-房產租金預測”之模型選擇

陈小虾 2020-02-22 00:03:32