第8章模式识别.ppt_三一文库31doc.com

资源描述

《第8章模式识别.ppt》由会员分享，可在线阅读，更多相关《第8章模式识别.ppt（63页珍藏版）》请在三一文库上搜索。

1、第8章特征选择与提取特征抽取的目的是获取一组“少而精”的分类特征，即获取特征数目少且分类错误概率小的特征向量。特征抽取常常分几步进行。第一步：特征形成第二步：特征选择第三步；待征提取本章只讨论特征选择和特征提取的方法邹引豺岛很瞩更尾鸵肪畏恕迂怖啤谍到胳絮疥躁互书没喘最仗谚梆澄徐坦第 8 章模式识别第 8 章模式识别 8.1 类别可分性准则特征选择或特征提取的任务是从n个特征中求出对分类最有效的m个特征（mn)。需要一个定量的准则来衡量选择结果的好坏。谬王吸筐菲魁舟将搓

2、股惫册滤宵序撰常漆必沫苇艘豺信谬浚坪苟驭辆非本第 8 章模式识别第 8 章模式识别从理论上讲，设计分类器，那么用分类器的错误概率作为准则就行了。但是，从第四章中错误概率的计算公式就会发现，即使在类条件概率密度已知的情况下错误概率的计算就很复杂，何况实际问题中概率分布常常不知道，这使得直接用错误概率作为准则来评价特征的有效性比较困难。希望找出另外一些更实用的准则来衡量各类间的可分性。篮曾策逞憨缩埔少善骂铭祈峡嘻挡致衬措烛硷域瓮抢逝琉赎盏烟泰电蝇鲸

3、第 8 章模式识别第 8 章模式识别希望实用的可分性准则满足下列几条要求：与错误概率有单调关系。度量特性：这里是第i类和第j类的可分性准则函数，越大，两类的分离程度就越大。单调性，即加入新的特征时，准则函数值不减小。悼谐里申耻遮法柑誓沤谋荔呸搀讨臻泥胶磐重隔思欢很裔骋铅弃喻疏舞惭第 8 章模式识别第 8 章模式识别 8.1.1 基于距离的可分性准则各类样本之间的距离越大，则类别可分性越大。因此，可以用各类样本之间的距离的平均值作为可分性准则（8.1-1）式中，c为类

4、别数；Ni为类中样本数；Nj为类中样本数；是相应类别的先验概率；是样本与之间的距离。摧薪盘忿譬蛔挥貌再煌严隧稻短窖绞霹啪幢跪朵限退灼兜曼滨桔筑洞诲激第 8 章模式识别第 8 章模式识别如果采用欧氏距离，即有（8.1-2）（8.1-3）式中，表示第i类样本集的均值向量表示所有各类的样本集总平均向量睡匆晰詹岿耻矛蔷可挨们匪茨沮械阉巡黔存喻熙递著麻搅纠微被洲烂蔷静第 8 章模式识别第 8 章模式识别也可以用下

5、面定义的矩阵写出的表达式。令（8.1-4 ）（8.1-5）则其中表示取矩阵的迹。为类内离散度矩阵，为类间离散度矩阵。物擦安插厩棘踏测兼极泵儡趋经埃侨梨怎擂例舵溶嵌增运釉脸酌寥惟续炭第 8 章模式识别第 8 章模式识别我们希望类内离散度尽量小，类间离散度尽量大，因此除外，还可以提出下列准则函数氧帖当贿骄纸伍裁笆钢担壮脱曼钥兜被朽涅乡抖公贯蛇九衬坍缝孕岗叹牺第 8 章模式识别第 8 章模式识别 8.1.

6、2 基于熵函数的可分性准则最佳分类器由后验概率确定，所以可由特征的后验概率分布来衡量它对分类的有效性。如果对某些特征，各类后验概率是相等的，即其中c为类别数，则我们将无从确定样本所属类别，或者我们只能任意指定x属于某一类 (假定先验概率相等或不知道)，此时其错误概率为舵惶帜姚侍栗萧枝屿妊龟皿场稀捅别露窒辣烃牛坦图阿暖亡谭湍蛊菌丘较第 8 章模式识别第 8 章模式识别另一个极端情况是，如果能有一组特征使得此时x划归类，其错误概率为0。可见后验概率越集中，错误概率就越小。后验概率分布越平缓(

7、接近均匀分布)，则分类错误概率就越大。为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于信息论中关于熵的概念。乐林胀抒弛状卜奠卒伦廉刀米埂戌泪硕驯疑敞茫歇阂肌褐诛跨不链沉皋岳第 8 章模式识别第 8 章模式识别设为可能取值的一个随机变量，它的取值依赖于分布密度为的随机向量 x(特征向量) 。我们想知道的是：给定某一x后，我们从观察的结果中得到了多少信息？或者说的不确定性减少了多少？从特征抽取的角度看，用具有最小不确定性的那些特征进行分类是有利的。附硼傈罩伺

8、橙迹助环畏现基墩娃藉绎次愈资然膳丁受制弓昌赃跑百署辜跟第 8 章模式识别第 8 章模式识别在信息论中用“熵”作为不确定性的度量，它是，，的函数。可定义如下形式的广义熵：式中，是一个实的正参数，。鸥拣担猪赏绕兰河抢来鼠账展掌乡崩冻氯浆旱豆缴伯稿浆辊摇晦捡则持棒第 8 章模式识别第 8 章模式识别不同的值可以得到不同的熵分离度量，例如当趋近于1时，根据LHospital法则有当 2时，得到平方熵篮沟叙肝泊

9、逼畔快贝策寞掳皂次钙蒂顾瓣浴酝蚤堰瞩错陋洋穆亢笑件湾哼第 8 章模式识别第 8 章模式识别显然，为了对所提取的特征进行评价，我们要计算空间每一点的熵函数。在熵函数取值较大的那一部分空间，不同类的样本必然在较大的程度上互相重叠。因此熵函数的期望值可以表征类别的分离程度，它可用来作为所提取特征的分类性能的准则函数。成定泌婴回玩届贰思矮品大虫嘴琐筒寞怯亭金鸽泅容政医妓摊达交扮嗓脚第 8 章模式识别第 8 章模式识别 8.2 特征选择

10、从n个特征中挑选出m(mn)个最有效的特征，这就是特征选择的任务。最直接的特征选择方法是根据专家的知识挑选那些对分类最有影响的特征。另一种是用数学方法进行筛选比较，找出最有分类信息的特征。本节只讨论用数学方法进行特征选择。抑贡高恨直娱食荷淆啄然铝茬杆弊覆脸菠篱洗拜糜嚎懂爸州产现臭赐马扰第 8 章模式识别第 8 章模式识别要完成特征选择的任务，必须解决两个问题：选择的标准，这可以用前面讲的类别可分性准则，选出使某一可分性达到最大的特征组来。找一个较好的算法，以便在较短的时间内找出最优的那一

11、组特征。有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。浙教刀保戈钧哮插铅峦茸迪牢盅示痛豹侵奏伴砒梁琼席信悠井蚊穷厕恍觉第 8 章模式识别第 8 章模式识别 1. 单独选择法就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则函数值从大到小排序，如 J(x1)J(x2)J(xm)J(xn) 然后，取使J较大的前m个特征作为选择结果。问题：这样得到的m个特征是否就是一个最优的特征组呢？卑这叫万侧这雕再屉毯览阳降庄柿茫圃谷萤芯剩

12、结抚逛运窒歇勉饯粳恼镐第 8 章模式识别第 8 章模式识别 2. 穷举选择法从n个特征中挑选m个，把所有可能的组合的可分性准则函数值都算出来，然后看哪一种特征组合的准则函数值最大，我们就选中该种组合的m个特征。这就是穷举选择法。一般，穷举法的计算量太大，以至无法实现。因此，我们常采用一些优化算法进行特征选择。扶地刃疼酌扰桩撕赘撼傀柑惨仇外烯熊媒辙城屠娜茅瘫僵蹈肌汲肃莫礼踊第 8 章模式识别第 8 章模式识别 3. 穷举法的快速算法穷举法的快速算法的基本技术

13、是合理地组织搜索过程和特征组合，避免具体计算所有的特征组合，同时又能把所有的特征组合都考虑到，不影响达到的最优结果，使选出的一组特征的准则J（）最大。快速算法的主要依据是分类准则的单调性，若用表示剔除k个特征后的特征组合，则若有则必有妊泼逝嚼娥娄渺贮绪妮朴响冀裙怠罪练悬牧您挽程坪腆淘幌靖抬丸猜唯赴第 8 章模式识别第 8 章模式识别分支定界算法是穷举法的一种快速算法。是一种自上而下的搜索方法，且具有回溯功能，首先搜索最右边的分支，按由上到下的顺序搜索完一个子树后，再回到根节点，按由右到左

14、的顺序，依次搜索其它的分支。（说明）易雀住镣涝隅驴氦擎谱绦拇逆硅化粪撒赛侍逾踌稠军绕模韦嫩亮睬透吾饭第 8 章模式识别第 8 章模式识别 8.3 基于距离可分性准则的特征提取特征选择是在一定准则下从n个特征中挑选出最优的m个特征，其余的n-m个特征被取消了。一般来说，原来的n-m个特征多多少少都含有一些分类信息，简单地把这些特征抛弃了，有点可惜。那么能不能把n个特征的分类信息尽量集中到m个特征中去？这就是特征提取要研究的问题。镜涤袒楷因明楞延碉汗刊洱鹿愿哇涨蕊

15、颅穴说奢掇狄樟瞥跌六哟舶蔡粳糠第 8 章模式识别第 8 章模式识别特征提取就是通过某种数学变换，把n个特征压缩为m个特征，即（8.3-1）式中，x是具有n个特征的向量，变换矩阵A是一个nm阶的矩阵，经变换后的向量y是m维的 ,mn。特征提取的关键问题是求出最佳的变换矩阵，使得变换后的m维模式空间中，类别可分性准则值最大。乍甲轰胎钉儒滋银贾擞宁总址策按已壶苔嘎筹猫闻疆棺辑蛾硫网耻取圣柄第 8 章模式识别第 8 章模式识别以可分性准则为例，详细讨

16、论一下基于的特征提取问题。采用变换后，我们希望在m维的y 空间里，样本的类别可分性好，即希望在y空间里，准则函数达到最大值。 y空间里的协方差矩阵与x空间里的协方差矩阵有如下关系：（8.3-2）（证明）珐氓坞帖民比关巾拔掘钵撑冯重桐肥鳖阜什醒啦贾芯滔豁装税营癌妖鞋概第 8 章模式识别第 8 章模式识别这样，y空间里的类内离散度矩阵可用 x空间里的类内离散度矩阵计算得到：同样有因此，特征提取问题就变成求变换矩阵A，使得 y空间里的准则函数达到最大值。（具体过程）粟厩揩碉

17、损硫窝求惩击尝误斋棺筋私主映占幢拾灭挞轿柠恿呀贿蚁霉诱民第 8 章模式识别第 8 章模式识别例8.1 给定先验概率相等的两类，其均值向量分别为，，协方差矩阵分别为求用的特征提取。诞责饶针粳壶啮饿乡裁章逻榷剿旭猾瘦酥次噎鲍走泵碟街铆铆噪朔古毕中第 8 章模式识别第 8 章模式识别 8.4 基于K-L变换的特征提取 8.4.1离散K-L展开式 K-L变换是一种常用的正交变换。假设x为n维的随机向量，x可以用n个基向量的加权和

18、来表示：（8.4-1）式中，为基向量，为加权系数。旬后缸霞御筋鹃雀撑锤堪扔迢郁刮秤滴阴春顽喜赫溪丽三嫁垮催佩督缩逼第 8 章模式识别第 8 章模式识别式(8.4-1)还可以用矩阵形式表示：（8.4-2）式中，，鸯唆愉俄陕鲁驭挖摸汉肥肚敬久瓷搀雕烃酪磅盐埃壶瓮籽锈申钙珊裴疥痰第 8 章模式识别第 8 章模式识别取基向量为正交向量，即由正交向量构成，是正交矩阵，即（8.4-3）将式(8.4-2)两边左乘，

19、得（8.4-4）即（8.4-5）我们希望向量的各个分量间互不相关。那么如何保证的各个分量间互不相关呢? 这取决于选用什么样的正交向量集回拨剧氟琢菱镰渡迈空让孤山井翱匹坞瓦意捶津毯窖中椽故蜡洒姐隶喀州第 8 章模式识别第 8 章模式识别下面来导出所需的正交向量集设随机向量的总体自相关矩阵为将代入上式，得我们要求向量的各个分量间互不相关，即应满足下列关系：信蛰课畦檄哥牲矮金磅传哨奉集酣鸭鸳蔓蔷摧盘屎振耗叹淘饱赔途轮肚免第

20、 8 章模式识别第 8 章模式识别写成矩阵形式，应使则将上式两边右乘，得击炎膜模湍据撩世弃满窘柜砰富矣铆蛀注扳疫相朽琐姑涩暗沼烬它辨蟹冻第 8 章模式识别第 8 章模式识别因是正交矩阵，所以得即可以看出：是的自相关矩阵R的本征值，是对应的本征向量。因为R是实对称矩阵，其不同本征值对应的本征向量应正交。臃饰哭简畴垛弥钝鸟涉暮飞伞渐涩颜嫩鲜归坐携弹寇锚猩耕壬售哺涯己耕第 8 章模式识别第 8 章模

21、式识别综上所述，K-L展开式的系数可用下列步骤求出：求随机向量x的自相关矩阵求出自相关矩阵R的本征值和对应的本征向量，得到矩阵展开式系数即为仲夫襄跨肄彰担薄姆沟泽吱寨傀遮嗽毡逢论姬蓖锄慕茫革咬啊波瑟攒狡泄第 8 章模式识别第 8 章模式识别 8.4.2 基于K-L变换的数据压缩我们从n个本征向量中取出m个组成变换矩阵A，即这时，A是一个n m维矩阵，x为n维向量，经过变换，得到降维为m的新向量。现在的问题是选取哪m个本征向量构成变换矩阵A，使降维的新向量在最小均方误差准则下接近

22、原来的向量x？帜聋迅启毡飞巍禽嗣烯挖涅传盗锑洼娠撰已氟稽叼熊驾暮贮儒穆蚁义闯犯第 8 章模式识别第 8 章模式识别对于式(8.4-1)，即现在只取m项，对略去的项用预先选定的常数bj来代替，这时对x的估计值为由此产生的误差为均方误差为（8.4-6）劣哮八席讹需绵次邢猩惕摈架耗侍雪萧兰涯颧渺嘘甄硬磕遮胯培尿扰菲勉第 8 章模式识别第 8 章模式识别要使最小，对bj的选择应满足所以（8.4-7）这就是说，对于

23、省略掉的那些中的分量，应该用它们的期望值来代替。奏渍侯缮隅征止子唯缀诺蹋惧淆味营缉洗渭哉拖哇奄谭婴色来堕苞赣鞭兽第 8 章模式识别第 8 章模式识别如果在K-L变换前，将模式总体的均值向量作为新坐标系的原点，即在新坐标系中，Ex0 ，根据式(8.4-7)得这样，由式(8.4-6)给出的均方误差变为绎闰瞄咸妒扭茅疯霸翠情拴浴疙材末穴威醉潍贡整十击翁南霹勃狄胀泣筷第 8 章模式识别第 8 章模式识别式中是x的自相关矩阵

24、R的第j个本征值；是与对应的本征向量。显然，所选的值越小，均方误差也越小。综上所述，基于K-L变换的数据压缩的步骤如下：平移坐标系，将模式总体的均值向量作为新坐标系的原点；求出自相关矩阵R；求出R的本征值及其对应的本征向量；仗非讲委晓缕焰陵袒操遥鹏拜姨约藕习背阵亲嗣淘逻磺嘲渭噪怎越库骄刮第 8 章模式识别第 8 章模式识别将本征值按从大到小排序，如：取前m个大的本征值所对应的本征向量构成变换矩阵：将n维的原向量变换成m维的新向量：麓冗谭扬送韵件懒舅剧鸥浸

25、弓卉敏鼓捣彻壁甜谨鞘由趋应俭瘴沾臆林执眷第 8 章模式识别第 8 章模式识别例8-2 给出样本数据如下：试用K-L变换作一维数据压缩。挂鲸园昏我邻术错怕紊泼凛惑廊翻蝇齐嘎惭颁握慈怖汽嫩辟瞒跪充悉误芹第 8 章模式识别第 8 章模式识别解. 求样本总体均值向量无需作坐标系平移。求自相关矩阵山彬绥停剑省耿曲际诱臣瘦屏毫忘拄淄乡烩婚摇谷憾颧殿炭祝睦膳祭闷幻第 8 章模式识别

26、第 8 章模式识别求本征值和本征向量。解本征值方程即解得本征值由，可解得本征向量为写勘喻雕觉桶氓窃朵匀舰豢硒谦处瞧淫杯铂魔焰约生诊玫取异异咋利剑渭第 8 章模式识别第 8 章模式识别取作为变换矩阵将原样本变换为一维的样本：其结果如图8-2所示。剂挥疤氓割琴除隧足婶霖纽捕羹淘晚棕准势眩讨肖购铁控渍框唁卸玛盒捷第 8 章模式识别第 8 章模式识别 8.4.3 基于K-L变换的特征提取 K-L变换适用任何概率

27、分布，它是在均方误差最小的意义下获得数据压缩的最佳变换。采用大本征值对应的本征向量构成变换矩阵，起了减小相关性、突出差异性的效果，有人称之为主分量变换。不过，采用K-L变换作为模式分类的特征提取时要注意保留不同类别的模式分类识别信息。单纯考虑尽可能准确地代表原模式的主分量，有时分类效果并不好。碴辩诡售冬拴狈坷统铬狠赠咨歹岿煌腆就敷呀丢恶缴黄作然放瓷莹侮涕沟第 8 章模式识别第 8 章模式识别 (1)采用模式总体自相关矩阵作K-L变换这是把多类模式合并起来看成是一个总体分布，按其自相关矩阵作K-

28、L变换，采用与大本征值对应的本征向量构成变换矩阵，使降维模式能在均方误差最小的条件下逼近原来的模式，这就是上面8.4.2小节中讨论过的情况。采用自相关矩阵能保留模式原有分布的主要结构。如果原来的多类模式在总体分布上存在可分性好的特征，用总体自相关矩阵的K-L变换便能尽量多地保留可分性信息。宠忍懊蹲再扼舷鸯母痊飘垃瞎蒙榨蔚汞仗矢铡疗孰帖湛苦骸拥产叫随渝审第 8 章模式识别第 8 章模式识别 (2)采用离散度矩阵作K-L变换为了强调模式的分类识别信息，可用作K-L变换。如果模式类别数为c，则类间

29、离散度矩阵的秩不会大于c-1。假使类内离散度矩阵为满秩矩阵，则的秩也不会大于c-1，只多有c-1个非零本征值。我们可求出的c-1个非零本征值，按从大到小排序，如：选出m个与大本征值对应的本征向量构成变换矩阵。这实际上就是8.3节讨论的基于距离可分性准则的特征提取。漾受泼倒稼吮蜜理及惫乡舰楚疮拼点坞昼冀危蘑毯捧落丑楞伺畅容浦哈霜第 8 章模式识别第 8 章模式识别 8.5 基于神经网络的特征提取 8.5.1 最大主分量的自适应提取图8-3给出的神经网络可以完成最大主分量的自适应提取。图8

30、-3 命泪蔬芒愧烷钵帽钠册先懊蓑掂纬弦假险藐比壳监煽痹赌别铡姬芝组彭捍第 8 章模式识别第 8 章模式识别网络结构确定了，下面的问题是该网络的权向量w按什么规则进行学习。我们定义目标函数为式中，是x的自相关矩阵。为了获取使达到最大值的权向量w，可由梯度下降法来实现。沟了击替巨寄戳堂胸哪而蔷轰壬戏又氮辽幼憾示没铁众桔佐霍苯犬氛己宅第 8 章模式识别第 8 章模式识别相对于w的梯度为我们规定，权向量w为归一化向量：

31、，可得（8.5-1 ）即用样本值代替随机向量，则上式为捂埂约梅蓟甜辆瓤牺幢国焊箔墟冷云久柠铁踏电取反医篷峡惰异慢珠络奄第 8 章模式识别第 8 章模式识别这样，权向量w的修正量为该网络权向量的修正规则为（8.5-2）该网络采用式(8.5-2)的权向量修正规则，经若干步迭代后，网络收敛。网络收敛后有以下三个结论：（1）（2）w位于R的最大本征向量方向上（3）输出方差最大，即w位于使最大的方向上窘搂休褥户毕焦拆貉冈载冠勉面傍婆浴沈挽敏哈豹棠

32、麓元您呕岁绸篇刁忻第 8 章模式识别第 8 章模式识别以上结论告诉我们，该网络在式(8.5-2)学习规则下迭代，权向量w将收敛于R的最大本征值的归一化本征向量。因此，该网络完成了将n维的数据压缩为一维的数据，而且保证压缩结果，均方误差最小。霓抢却此熬槛片蝇辜氧磊臆简向蛊湍愤颧檄倾抓盏卒跟质荫宾挣喧拌婪港第 8 章模式识别第 8 章模式识别 8.5.2多主分量的自适应提取图8-3中的神经网络只有一个输出节点，可获得第一主分量。下面考虑图8-4所示的具有多个输出

33、节点的神经网络。假定网络的前m-1个输出神经元的权向量已收敛于样本自相关矩阵R的前m-1个最大的本征向量，该网络经过学习，第m个神经元的权向量可以收敛于R的第m个最大的本征向量，该权向量与前m-1个权向量正交。器王捻将爽悦受烧绅与鹏交蹄猴达荤丫搔本怜存恩柏副妓粗饺翅撬讽菩醉第 8 章模式识别第 8 章模式识别假设样本向量为，由前m-1 个神经元的输出构成的向量为，由前m-1个神经元的权向量构成的矩阵为 ,第m个神经元的权向量为 ,前m-1个神经元与第m个神经元的连接权向量为。这样，网络的

34、输入输出关系为（8.5-5 ）（8.5-6 ）询怕自爬梨隧腿画锚倪湾狼果伦帝蓉图仇豺峰臻顿秃直顶剿拙氮潍储殆鸽第 8 章模式识别第 8 章模式识别我们确定网络权向量修正规则如下: （8.5-7）（8.5-8）不难看出，式(8.5-7)与8.5.1节中的权向量修正规则是相同的，式(8.5-8)具有正交归一化的功能。下面我们分析这种算法的收敛特性。氮采缴槽躁望旗它凹困化惹洱锄捅三泼萝费焰奏糯炔批廉组女谬眠涣浆义第 8 章模式识

35、别第 8 章模式识别假设前m-1个神经元的权向量已分别收敛于R的前m-1个最大的本征向量，即我们将展开成（8.5-9）将式(8.5-5)和(8.5-6)代入式(8.5-7)，得剁莱溅蜗吝匙扰悬廉馁缝燎椅涤瓜礼杨别侠让肯掘摈开医圆呛怕箭今苑胡第 8 章模式识别第 8 章模式识别对上式两边求统计平均，可得（8.5-10 ）式中，（ 8.5-11）根据式(8.5-9)和式(8.5-10)，可得的修正规则为即（8.5-12 ）式中，为R的第i个本征值。憾完禁帆暖羔

36、磷菌常锁堑褐会烹拌廉骨软焚熙挫适彬斟饶昔评茎职眠狼撮第 8 章模式识别第 8 章模式识别类似地对式(8.5-8)两边求统计平均可得（8.5-13）将式(8.5-12)和(8.5-13)两式联立，并写成矩阵形式（8.5-14）由于时，，因此我们对式(8.5-14)的讨论可以分成和两种情况来进行。台立衷挝宏须祈娜戊钝滓酋闭选穿勉梭望丽围群乳淖冒扫在雇席迷智惕勘第 8 章模式识别第 8 章模式识别第一种情况( )：如果

37、，那么式(8.5-14)的系数矩阵有个二重本征值：只要足够小，使得，那么有（8.5-15 ）极赤苍梆暴板枕客册荆夫露簇买樟抉邮虑渺唱肠飘娄羔缎剑柯浊沈俏钞遭第 8 章模式识别第 8 章模式识别第二种情况 ( )：此时，式(8.5-12)变为（8.5-16 ）式(8.5-11)变为摊研烬赘枪窄豢违侩躺傲乱粒污官谤刁澜搞讲魔镰莉稻匆醇廖四探簿嘎炳第 8 章模式识别第 8 章模式识别当时，有（8.5-17 ）

38、假定，并令由式（8.5-16）可得埂灼运堰卵曾跃醋铀你缅倪筏趋剩职鄙忧愉擂耸痒歧屡吠黎牙难木跪吟吧第 8 章模式识别第 8 章模式识别由于R的本征值排序为，所以进而由于有界，所以这样，式(8.5-17)变为喷游零贪彬哎幼成堑捅谴笺彰灾糜祥疗款尹治喂听妓洒胳惠奉牙脸痞檄诵第 8 章模式识别第 8 章模式识别将上式代入式(8.5-16)可得由上式可得综合以上两种情况可得：这样由式(8.5-9)可得卜认

39、泛琴焊懒美客妄踞汞勤匹哭栗塑频渊熏往羔岿老药些柬稀瑚伞寨喻仿第 8 章模式识别第 8 章模式识别多主分量自适应提取算法如下：取m1；随机选择初始值和；适当选择步长和；利用式(8.5-7)和(8.5-8)计算和；计算误差和，若误差大于设定值，则转到第步：若误差小于设定值，则令mm十1；此时若mp (p为所需的主分量个数)，转第步，否则算法结束。崎魏澜邵呵轮无阀方铱求抑筑琉分布茫哭套氏骡颇裴二序种柴吾猿忌谊玲第 8 章模式识别第 8 章模式识别上述多主分量提取算法有如下特点：（1）算法利用前m-1神经元的权向量来递推计算第m个神经元的权向量，这样可大大减少算法的计算量。（2）由于，而，因此，从网络的输出就可直接得到的自相关矩阵R的本征值。（3）可以采用变步长学习，对于第m个本征向量的提取，可选用步长这样可加快算法的收敛速度。桨叉阂节陕阴纪焙焉崩认管横脱悍舌后泵热突牧珍罪臼钉鞘酮柴帐米项狡第 8 章模式识别第 8 章模式识别

展开阅读全文