模式识别与机器学习-特征选择和提取
谨以此博客作为复习期间的记录。
常见分类问题的流程，数据预处理和特征选择提取时机器学习环节中最重要的两个流程。这两个环节直接决定了最终性能的上下限，本部分记录一下特征提取和选择部分（特征工程）
特征选择 可以表示为：从一个包含 n 个度量值的集合 { x 1 , x 2 , ... , x n } \{x_1, x_2, \dots, x_n\} {x1,x2,...,xn} 中，按照某个准则选择出一个子集，用作分类的特征，这个子集具有降维的效果（m 维，其中 m < n）。
特征提取 可以表示为：通过某种变换，将原始特征集合 ( x 1 , x 2 , ... , x n ) (x_1, x_2, \dots, x_n) (x1,x2,...,xn) 转换成一个包含 m 个新特征 ( y 1 , y 2 , ... , y m ) (y_1, y_2, \dots, y_m) (y1,y2,...,ym) 的集合（其中 m < n），这些新特征作为新的分类特征（有时称为二次特征）。
这两种方法的目的都在于在保留尽可能多的识别信息的前提下，降低特征空间的维度，以便有效地进行分类。
特征选择
一些距离测度公式
独立特征的选择准则
一般特征的散布矩阵准则
离散K-L变换
