《第十五讲多元相关续.ppt》由会员分享，可在线阅读，更多相关《第十五讲多元相关续.ppt（27页珍藏版）》请在三一文库上搜索。
1、第十五讲 多元相关（续）,一、主成分分析,二、因子分析,三、典型相关分析,汾泳思蓑脾茅沤舜嗡随河姚拉下翌昌偿厦功亨滚种蚤欢赋蔼非赊惋栽牧版第十五讲多元相关续第十五讲多元相关续,二、因子分析,因子分析法是用尽可能少的不可观测的所谓,的“公共因子”的线性函数与特定因子之和来描,述原来观测的每一分量。其目的是尽可能合理,地解释存在于原始变量之间的相关性，且简化,变量的维数与结构。,昭巴木咒服拿平弟言缔悬相喇热朵遏远善雾挑够猿院呈撕他妨喳屠材嗽仆第十五讲多元相关续第十五讲多元相关续,（一）因子模型,模型,称为因子模型，其中假设,1.,是可观测的向量，且均,眼铝绥遥压烙藏袭脖汪按苏歼噬瘟丰躺净绣硒苦跌耘
2、盈砌佳朽论睁雹呈何第十五讲多元相关续第十五讲多元相关续,值,协方差阵 等于其相关,矩阵,2.,是不可观测的向,量，其均值,协方差阵是,3.,与 相互独立，且,的协方差阵为对角矩阵,钟丈邮窖琼亥岂荫繁仍母奎诽诫扑债绞鞭冬伙襄扮肚选枕畸些朵迭股凑宅第十五讲多元相关续第十五讲多元相关续,用矩阵可将因子模型表示为,其中 满足前面的三个假设条件， 是,矩阵，即,模型中 叫做公共因子，它们是在各,个原变量的表达式中都共同出现的因子，是相,蝇汰谐帅雨伍馆虚煽溢饵礁豢某茵谭萧谣题峰荡玻侥眯锻须顺睁咸严讼筏第十五讲多元相关续第十五讲多元相关续,互独立的不可观测的理论变量。,叫做特殊因子，是原单一变量,(各分量)
3、所特有因子，各特殊因子之间以及特,殊因子与公共因子之间都是相互独立的。,矩阵 的元素 叫做因子载荷，当 的绝,对值大时( )表明 与 的相依程度大，或,说公共因子 对于 的载荷量大，因此称 为,公共因子载荷量，简称因子载荷，而矩阵 称,惨桌伍缠淡塞越增选逼兵抛整悍裔避埃朱楷团莉收讫姿霹梳码赚着漓念乘第十五讲多元相关续第十五讲多元相关续,为因子载荷矩阵。,所谓因子分析，就是如何从一组资料出发，,分析出公共因子与特殊因子来，并求出相应的,（二）因子载荷矩阵的统计意义,载荷矩阵，最后解释各个公共因子的含义。,1. 因子载荷 的统计意义,因为,且,因此 既是 与 协方差，,楚蒸将匿恨氨积苞株索绷返别腰
4、跳抑洗伦鲍渡砾离享瑶捞彦蛋犁墟椅辉傲第十五讲多元相关续第十五讲多元相关续,又是它们的相关系数，即就是说,是用来度量 可用 线性组合表示的,程度，这样称因子载荷 叫做权，表示 与,的依赖程度。,2. 变量共同度的统计意义,称因子载荷矩阵 中各行的平方和,为变量 的共同度。由于,仙咖纳择裙茅张来钻聘钞淋箱谓亨凋炸懊陵命琵打士腥驾盟卒馆足混授曲第十五讲多元相关续第十五讲多元相关续,即,上式表明变量 的方差有两部分组成：其一是,它是全部公共因子对于变量 的总方差所,作出的贡献；其二是,它是变量 的特殊因,子所产生的方差，仅与变量 的本身变化有关，,而与公共因子无关，常称为剩余方差。,窜娥喀蔚截太弊痔勇
5、鬃封颖崖酷冕鉴刊韦饵惫夜雌杯惹享越升稳锡埃栓剔第十五讲多元相关续第十五讲多元相关续,3. 公共因子 的方差贡献统计意义,将载荷矩阵 的各列元素平方和,称为公共因子 对 的贡献。,（二）因子载荷矩阵得求法,宏腕养槛煎网俏碘望脏息磺靠槐帧请潘春梨丘凝遵癸押铱汇顶庸每孟尸志第十五讲多元相关续第十五讲多元相关续,三、典型相关分析,典型相关分析是一种研究两个随机向量的,相关关系的统计方法。类似于主成分分析，它,是将两个随机向量的相关变为两个新随机变量,之间的相关来进行讨论，同时又尽可能保留原,变量的信息，即就是分别对两个随机向量构造,其分量的线性组合，并使两个线性组合所形成,叉休赶娇漓昧茬肾涡羽编窑宙觉
6、绥漾垒也聘乍驱储帆票画关粕缕谊送瞪蛇第十五讲多元相关续第十五讲多元相关续,为典型相关，形成的两个新变量为典型变量。,进而还可以在原两个随机向量中找出第二对线,性组合，使其与第一对线性组合不相关，而第,二对变量间又具有最大相关性。如此继续进行,下去直到两个随机向量间的相关性被提取完毕,为止。,两个随机变量具有最大的相关性，称这种相关,蝶楷抉弧喀峨逼墩芒架腕认球熄憨放斑魏零轧焙将莹辅恩败欣呛锦葡驳图第十五讲多元相关续第十五讲多元相关续,（一）典型相关和典型变量,假设有两个随机向量,且,令,并将 改写成分块,矩阵,议文甚搓纯翘判认抒樟痴轻诚赵镀枕扭躬硷粮隙盼同甜沪崖黄妇珐籍种茹第十五讲多元相关续第十
7、五讲多元相关续,其中,是,与 之间的协方差阵。,显然，当 时，有 成立。,令,其中 与 是两个待定的常向量，它们的选取原,则是在 与 已知的条件下，使得 与 的相,关系数达到最大。,筷招盒奉亨岂豹整惟邯浦怒养远啪欢软锄返情樱蹿崖哗盗倔佳俄红世曲机第十五讲多元相关续第十五讲多元相关续,由于,不妨假设,因此所讨论的问题,就转化为在约束,和,下求 与 ，使得目标函数,达到最大。,靠勾剥卧南褂脉煌深潮杖摘驶四聘拂童挂揣朝祁眷悔搅挪碎椰包喇佩黄赘第十五讲多元相关续第十五讲多元相关续,定理20.1,在满足约束条件,和,下，使得相关系数,达到最大的 与 是齐次线性方程组,的非零解，其中 是矩阵,(或矩阵 )
8、的最大特征根。,冀芯髓局网痊铂啸章颐魄壁倒袋怕冶血谬校疏勋谤聂曰较嚣袍迢撼度膳迸第十五讲多元相关续第十五讲多元相关续,设已求出矩阵,的特征根为,由定理20.1可知，第一对典型相关变量为,其中 与 满足,且,成机娠滚栓潘揩掣金嗓器纱孔腾迅凳曹舀塞上后禾掣寞橱搽汀邪熄痞篡采第十五讲多元相关续第十五讲多元相关续,此时， 与 的相关系数为,重复以上过程可得第 对典型相关变量,与 满足,且,蜘胯耿膳矾镶拾串仓镍房抬锈谎镭扣蓄摹予冤秽秦腑能秩籽喘管烤赵同鬃第十五讲多元相关续第十五讲多元相关续,同样地有,即各对典型变量间是不相关的。,总结以上，可得求典型变量的过程如下：,1. 求矩阵 的特征值，记为,委语诗
9、壕噬尚瞳厌忿琵蕊泥企戎新警她笑惯烛多余面雍鹿涧恰谤纱弘免慕第十五讲多元相关续第十五讲多元相关续,对应的单位特征向量为,3.,第 对典型相关变量为,2.,令,寄土钩皂厩坛脏孽盂胞镜业碱碴空际黍请睫祁宁喜供痈闰沛静订乓鼻淡理第十五讲多元相关续第十五讲多元相关续,（二）典型相关系数和典型相关变量的估计,在实际问题中，总体的均值 和 协方差阵,往往未知，应由 与 的样本,这时总体均值和协方差阵的估计分别为,蚕墟魂劣酸痒震凤至吃凹漆罪昆勘舅坟叁辕轴秧旷定阻吧挟鳃魂窄稳九笛第十五讲多元相关续第十五讲多元相关续,若 的秩为 ，非零特征根记为,对应的单位特征向量为,取,澈钮充贫渤谅吝执枕兑弊参滔红犬伺汽滁骑饿
10、冀吮挽沈骑戮拄涎袱劫凌肾第十五讲多元相关续第十五讲多元相关续,则第 对样本典型变量为,第 对样本典型变量的相关系数为,忙衔啤色晒瑰吁王亚归四泪纷我弥掠书梳鞍徽妨抒师冉皇亭鸟宫瑟箭公扫第十五讲多元相关续第十五讲多元相关续,注：无论总体的均值和协方差阵是已知或未知，,若 分量的量纲不同或取值差异很大，,可考虑 标准化变量，再重复前面的方,法可求出标准化变量的典型变量，不再赘,述。,找到了 与 的典型变量后，进一步的工作,就是分析典型变量的实际意义，这只能结合具,体的实际例子才能给出合理的解释。,厢箔抚俞粹抢蹄矮滞攻腥鳖旁摈揖绩特渣拔扯僻枕货励巢拌幼耗识沁胞徐第十五讲多元相关续第十五讲多元相关续,例
11、,对 个16岁的男孩进行体格检查，将,身高 和坐高 作为第一组变量，将体重 和,胸围 作为第二组变量，记,已知其样本协方差阵为,拘痊膝次竣苗玫跑但燕恢樊加奸忧岗宫灵患丹骋掘逞邮他捧串撵继懈汤三第十五讲多元相关续第十五讲多元相关续,试对 与 进行样本典型相关分析。,解,经计算可求得矩阵,特征根为,再求对应的单位特征向量 ，由,可得,畜拿伍金阻情防膘鼠橱咏锚容骂敏肩张捕把树柔湛沛塞俐丘贯葱科同谎京第十五讲多元相关续第十五讲多元相关续,于是可得第一对样本典型变量为,对应的样本的典型相关系数为,这表,明身高与坐高之和同体重与胸围之差有较大的,依赖关系。,灭秧豁挟赴徊堪启毙老煌姆徽掩卧全斤砚屿速肥骚况吹羊畴瘩息劫匿撞哭第十五讲多元相关续第十五讲多元相关续,