参考链接
一、介绍特征工程
特征工程是将数据转换为能够更好地表示潜在问题的特征,从而提高机器学习性能的过程。
使用场景:任何阶段得到数据。
优点:更好地表示潜在问题,提高性能。
缺点:特征找的不准备导致模型效果不好。
二、建模工作
数据的清洗和组织是特征工程的主要部分。
三、特征工程的重要性
数据和特征决定了机器学习的上线,而模型和算法只是逼近了这个上线。
四、特征工程前期工作
五、数据转换
具体方法:
归一化、标准化、对数转换、反余切函数转换、Box-Cox变换、L2-Norm变换等等。
六、特征筛选
通过特征筛选找到最相关和最有价值的特征,构建更简化和高效的模型,无关的、冗余的或噪声特征需从数据中剔除。
七、总结
特征工程复杂,需对数据十分了解,先总体分析再逐个分析特征比较节约时间。对单个特征和多个特征进行分析,然后从中找到不同特征之间或与目标特征的相关性,再进行筛选,得到的有效特征的概率会大一些。分析完后需对每个特征进行处理,如缺失值和异常值处理、归一化处理等等。总之,如果特征工程处理的很好,模型结果也会相对好一些。