《机器学习之特征提取VS特征选择.doc》由会员分享，可在线阅读，更多相关《机器学习之特征提取VS特征选择.doc（2页珍藏版）》请在三一文库上搜索。
1、机器学习之特征提取VS特征选择1.待征提取V.S特征选择特征提取和特征选择是DimensionalityReduction (降维)的两种方 法，针对于the curse of dimensionality(维灾难)，都可以达到降维的LI的。 但是这两个有所不同。特征提取(Feature Extraction) :Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来 特征的一个映射。特征选择(Feature Selection ) :choosing a sub
2、set of all the features(the ones more informative)也就是说，特征选择后的特征是原来特征的一个 子集。AX2feature selection 、X1X24Atenure extractionYiy2-f*241A1LXN_一 Xn_2. PCA V.S LDA主成分分析(Principle Components Analysis ,PCA)和线性评判分析(Linear Discriminant Analysis,LDA )是特征提取的两种主要经典方法。对于特征提取，有两种类别:(1 ) Signal wpresentation(信号表示)：Th
3、e goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space 也 就是说，特征抽取后的特征要能够精确地表示样本信息，使得信息丢失很 小。对应的方法是PCA.（2 ） Signal classification （信号分类）：The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low- dimensional space.也就是说，特征抽取后的特征，要使得分类后的准确率 很高，不能比原来特征进行分类的准确率低。对与线性来说，对应的方法 是LDA.非线性这里暂时不考虑。可见，PCA和LDA两种方法的目标不一样，因此导致他们的方法也 不一样。PCA得到的投影空间是协方差矩阵的特征向量，而LDA则是通 过求得一个变换W,使得变换之后的新均值之差最大、方差最大（也就是最 大化类间距离和最小化类内距离），变换W就是特征的投影方向。