零基础入门数据挖掘系列之「特征工程」

摘要：对于数据挖掘项目，本文将学习应该从哪些角度做特征工程？从哪些角度做数据清洗，如何对特征进行增删，如何使用PCA降维技术等。

特征工程（Feature Engineering）对特征进行进一步分析，并对数据进行处理。常见的特征工程包括：异常值处理、缺失值处理、数据分桶、特征处理、特征构造、特征筛选及降维等。

数据及背景

零基础入门数据挖掘 - 二手车交易价格预测_学习赛_赛题与数据_天池大赛-阿里云天池的赛题与数据（阿里天池-零基础入门数据挖掘）

异常值处理

常用的异常值处理操作包括BOX-COX转换（处理有偏分布），箱线图分析删除异常值，长尾截断等方式，当然这些操作一般都是处理数值型的数据。

BOX-COX转换

关于box-cox转换，一般是用于连续的变量不满足正态的时候，在做线性回归的过程中，一般线性模型假定：

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

其中ε满足正态分布，但是利用实际数据建立回归模型时，个别变量的系数通不过。例如往往不可观测的误差 ε 可能是和预测变量相关的，不服从正态分布，于是给线性回归的最小二乘估计系数的结果带来误差，为了使模型满足线性性、独立性、方差齐性以及正态性，需改变数据形式，故应用BOX-COX转换。具体详情这里不做过多介绍，当然还有很多转换非正态数据分布的方式：

对数转换：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

平方根转换：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

倒数转换：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

平方根后取倒数：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

平方根后再取反正弦：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

幂转换：

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

其中

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

参数

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</g>

</svg>

在一些情况下（P值<0.003）上述方法很难实现正态化处理，所以优先使用BOX-COX转换，但是当P值>0.003时两种方法均可，优先考虑普通的平方变换。

BOX-COX的变换公式：公式：

输入不了，请点击微信文章查看【文章链接】

具体实现：

from scipy.stats import boxcoxboxcox_transformed_data = boxcox(original_data)

箱线图

接下来，介绍一下箱线图筛选异常并进行截尾。从上面的探索中发现，某些数值型字段有异常点，可以看一下power这个字段：

# power属性是有异常点的num_data.boxplot(['power'])

结果如下：

所以，下面用箱线图去捕获异常，然后进行截尾，这里不用删除，其原因为：

笔者已经合并了训练集和测试集，若删除的话，肯定会删除测试集的数据
删除有时候会改变数据的分布等

所以这里考虑使用截尾的方式：

"""这里包装了一个异常值处理的代码，可以随便调用"""def outliers_proc(data, col_name, scale=3):    """        用于截尾异常值， 默认用box_plot(scale=3)进行清洗        param:            data：接收pandas数据格式            col_name: pandas列名            scale: 尺度    """    data_col = data[col_name]    Q1 = data_col.quantile(0.25) # 0.25分位数    Q3 = data_col.quantile(0.75)  # 0,75分位数    IQR = Q3 - Q1
    data_col[data_col < Q1 - (scale IQR)] = Q1 - (scale IQR)    data_col[data_col > Q3 + (scale IQR)] = Q3 + (scale IQR)
    return data[col_name]
num_data['power'] = outliers_proc(num_data, 'power')

再看一下数据：

当然，如果想删除这些异常点，可参考下列代码：

def outliers_proc(data, col_name, scale=3):    """    用于清洗异常值，默认用 box_plot（scale=3）进行清洗    :param data: 接收 pandas 数据格式    :param col_name: pandas 列名    :param scale: 尺度    :return:    """
    def box_plot_outliers(data_ser, box_scale):        """        利用箱线图去除异常值        :param data_ser: 接收 pandas.Series 数据格式        :param box_scale: 箱线图尺度，        :return:        """        iqr = box_scale (data_ser.quantile(0.75) - data_ser.quantile(0.25))`        val_low = data_ser.quantile(0.25) - iqr``        val_up = data_ser.quantile(0.75) + iqr``        rule_low = (data_ser < val_low)``        rule_up = (data_ser > val_up)``        return (rule_low, rule_up), (val_low, val_up)`
`    data_n = data.copy()``    data_series = data_n[col_name]``    rule, value = box_plot_outliers(data_series, box_scale=scale)``    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]``    print("Delete number is: {}".format(len(index)))``    data_n = data_n.drop(index)``    data_n.reset_index(drop=True, inplace=True)``    print("Now column number is: {}".format(data_n.shape[0]))``    index_low = np.arange(data_series.shape[0])[rule[0]]``    outliers = data_series.iloc[index_low]``    print("Description of data less than the lower bound is:")``    print(pd.Series(outliers).describe())``    index_up = np.arange(data_series.shape[0])[rule[1]]``    outliers = data_series.iloc[index_up]``    print("Description of data larger than the upper bound is:")``    print(pd.Series(outliers).describe())`
`    fig, ax = plt.subplots(1, 2, figsize=(10, 7))``    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])``    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])``    return data_n`

这个代码是直接删除数据，这个如果要使用，不要对测试集用哈。下面看看power这个特征的分布也不错了，所以就没再进一步处理power，至于其他的数值型是不是需要截尾，需要自己决策。

缺失值处理

关于缺失值处理的方式，有几种情况。

零基础入门数据挖掘系列之「特征工程」

数据及背景

异常值处理

缺失值处理

查看本文全部内容，欢迎访问天池技术圈官方地址：零基础入门数据挖掘系列之「特征工程」