《第八章特征提取.ppt》由会员分享，可在线阅读，更多相关《第八章特征提取.ppt（25页珍藏版）》请在三一文库上搜索。
1、第八章 特征提取,王文伟 Wang Wenwei, Dr.-Ing. Tel: 18971562600 Email: Web: http:/ Pattern Recognition And Machine Learning,Table of Contents,电子信息学院,8.1 基本概念,特征选择与提取是模式识别中重要而困难的一个环节： 分析各种特征的有效性并选出最有代表性的特征是模式识别系统设计的关键步骤。 降低特征维数在很多情况下是有效设计分类器的重要课题。 计算上更易实现。 消除特征间的相关性，使新特征更有利于分类。,引言,数据获取,预处理,特征提取 与选择,分类决策,分类器 设计,
2、信号空间,特征空间,x,a,8.1.1 三大类特征,三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别。 数学特征：易于用机器定量描述和判别，如基于统计的特征。 讨论的重点是根据学习样本来选择和提取数学特征，而物理和结构特征的测量与分析涉及研究对象本身的物理规律。,引言,8.1.2 有关特征的基本概念,特征形成 (acquisition)： 信号获取或测量原始测量，其值域称为测量空间：对象表示x = 测量空间的点 原始特征：通过基本计算产生基本特征y 实例： 数字图象中的各像素灰度值 人体的各种生理指标 原始测量和原始特征分析： 原始
3、测量不能反映对象（类别）本质 高维原始特征不利于分类器设计：计算量大，数据冗余，样本分布十分稀疏。,引言,特征的选择与提取,两类提取有效信息、压缩特征空间的方法：特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把高维原始特征变换为较少的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性、分类性能最好的特征。 特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。,引言,特征的选择与提取举例,细胞图像自动分类： 原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质的特征）
4、：细胞面积，胞核面积，形状系数，光密度，核内纹理，核浆比 等等 压缩特征：原始特征的维数仍很高，需压缩以便于分类 特征选择：挑选最有分类信息的特征，方法有：专家知识，数学方法 特征提取：数学变换，消除特征之间的相关性。 傅立叶变换或小波变换 用PCA方法作特征压缩,引言,8.2 基于类别可分性判据的特征提取,特征提取：用映射（或变换）的方法把高维原始特征变换为较少的新特征。线性变换： 特征有效性=类别可分性 类别可分性判据J：衡量不同特征及其组合对分类是否有效的定量准则 基于可分性判据的特征提取，就是求最优变换W*,基于距离可分性判据的特征提取,样本类间 离散度矩阵,样本类内 离散度矩阵,类间
5、可分离性判据,可分性判据,8.3 主成分分析方法,特征提取：用映射（或变换）的方法把高维原始特征变换为较少的新特征 主成分分析PCA (Principle Component Analysis)方法：K. Pearson提出，从一组特征中计算出一组按重要性排列的新特征，它们是原特征的线性组合，并且相互之间不相关。,第一主成分变换,特征 提取,构造拉格朗日函数：,第一主成分变换,特征 提取,最优解,推广,特征 提取,数据中大部分信息集中在较少的几个主成分上,根据给定的比例，选择适当数目的主成分作为样本的新特征,8.4 K-L (Karhunen-Loeve)变换,特征提取： 用映射（或变换）的方
6、法把高维原始特征变换为较少的新特征 K-L (Karhunen-Loeve)变换： 特征降维变换后，不能完全地表示原有的对象，信息总会有损失。希望找到一种信息能量最为集中的的变换方法，使降维后信息损失最小。最优正交线性变换。,K-L变换（展开）,离散K-L变换：对（随机）向量x用确定的完备正交归一向量组（系）uj展开,特征 提取,组合系数,有限项K-L展开的均方误差,用有限项估计x ：,该估计的均方误差：,特征 提取,记矩阵,则,求解最小均方误差正交基,用Lagrange乘子法，得到：,结论：以相关矩阵R的d个本征向量为基向量来展开x时，其均方误差为：,K-L变换：当取矩阵R的d个最大本征值对
7、应的本征向量来展开x时，其截断均方误差，在所有用d维正交坐标系展开中最小。这d个本征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系， x在K-L坐标系上的展开系数向量y称作x的K-L变换,特征 提取,K-L变换的表示,K-L变换的向量展开表示：,K-L变换的矩阵表示：,特征 提取,K-L变换的性质,K-L变换是信号的最佳压缩表示，误差最小。 y的相关矩阵是对角矩阵，即各分量互不相关。,特征 提取,K-L坐标系将相关函数矩阵对角化,K-L坐标系将相关函数矩阵对角化，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的。,特
8、征 提取,K-L变换图解,二次 曲线方程,标准二次 曲线方程,特征 提取,等概率密度轨迹,K-L变换的数据压缩例解,以2x1变换为例，有两个本证向量，取变换矩阵U=u1，则x的K-L变换y为： y = UTx = u1T x = y1 变换的能量损失为,特征 提取,K-L变换的产生矩阵,数据集KN=xi的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为基于数据x的某种二阶统计量的产生矩阵的本征向量。 K-L变换的产生矩阵可以有多种选择： x的相关函数矩阵R=ExxT x的协方差矩阵C=E(x-) (x-)T （当样本类别已知）样本总类内离散度矩阵：,特征 提取,未知类别样本
9、的K-L变换,常用总体样本的协方差矩阵C=E(x-) (x-)T 进行K-L变换，K-L坐标系U=u1,u2,.,ud按照C的本征值的下降次序选择。 例：设一样本集的协方差矩阵是： 求最优2x1特征提取器U 解答：计算特征值及特征向量V, D=eig(C); 特征值D=24.736, 2.263T,特征向量: 由于12，故最优2x1特征提取器 此时的K-L变换式为：,特征 提取,8.5 讨论,特征的选择与提取是模式识别中重要而非常困难的一步 模式识别的第一步：分析各种特征的有效性并选出最有代表性的特征 降低特征维数在很多情况下是有效设计分类器的重要课题 三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但难于定量描述，因而不易用机器判别 数学特征：易于用机器定量描述和判别,