《15协方差及相关系数.ppt》由会员分享，可在线阅读，更多相关《15协方差及相关系数.ppt（44页珍藏版）》请在三一文库上搜索。
1、协方差及相关系数,一、协方差,3. 计算协方差的一个简单公式,1.定义,2.简单性质,4. 随机变量和的方差与协方差的关系,5.许瓦兹不等式,二、相关系数,相关系数的性质,四个等价命题,前面我们介绍了随机变量的数学期望和方差，对于多维随机变量，反映各随机变量之间关系的数字特征中，最重要的，就是本讲要讨论的,协方差和相关系数,任意两个随机变量X和Y的协方差,记为Cov(X,Y), 定义为, Cov(X1+X2,Y)= Cov(X1,Y) + Cov(X2,Y), Cov(X,Y)= Cov(Y,X),一、协方差,2.简单性质, Cov(aX,bY) = ab Cov(X,Y) a,b是常数,Co
2、v(X,Y)=E X-E(X)Y-E(Y) ,1.定义,(4) Cov(X,X)= D(X) ; Cov(X,a)= 0,Cov(X,Y)=E(XY) -E(X)E(Y),可见，若X与Y独立， Cov(X,Y)= 0 .,3. 计算协方差的一个简单公式,由协方差的定义及期望的性质，可得,Cov(X,Y)=E X-E(X)Y-E(Y) ,=EXY-E(X)Y-E(Y)X+E(X)E(Y) ,=E(XY)-E(X)E(Y),即,=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y),D(X+Y)= D(X)+D(Y)+ 2Cov(X,Y),4. 随机变量和的方差与协方差的关系,证明：,
3、若X1,X2, ,Xn两两独立,，上式化为,D(X+Y)= D(X)+D(Y)+ 2Cov(X,Y),4. 随机变量和的方差与协方差的关系,证明：设(t)=E(X+tY)2，则 (t)=E(X2)+2tE(XY)+t2E(Y2)0， 其判别式0，即 =2E(XY)2-4E(X2)E(Y2)0， 所以E(XY) 2E(X2)E(Y2)。,5.许瓦兹不等式,E(XY) 2E(X2)E(Y2),协方差的大小在一定程度上反映了X和Y相互间的关系，但它还受X与Y本身度量单位的影响. 例如：,Cov(kX, kY)=k2Cov(X,Y),为了克服这一缺点，对协方差进行标准化，这就引入了相关系数 .,二、相
4、关系数,为随机变量X和Y的相关系数 .,在不致引起混淆时，记 为 .,相关系数的性质：,证: 由方差的性质和协方差的定义知,对任意实数b,有,0D(Y-bX)= b2D(X)+D(Y)-2b Cov(X,Y ),D(Y- bX)=,由于方差D(Y)是正的,故必有1- 2 0,所以 | |1。,设U=X-E(X),V=Y-E(Y), 由许瓦兹不等式E(UV)2E(U2)E(V2)， 知E(X-E(X)(Y-E(Y)2 E(X-E(X)2 E(Y-E(Y)2 所以2XY 1, 即| XY |1,存在常数a,b(b0），,使PY=a+bX=1，,即X和Y以概率1线性相关.,2. | XY |=1,考
5、虑以X的线性函数a+bX来近似表示Y，,以均方误差,e =EY-(a+bX)2,来衡量以a+bX近似表示Y的好坏程度,e值越小表示 a+bX与Y的近似程度越好.,用微积分中求极值的方法，求出使e 达到最小时的a,b .,相关系数刻划了X和Y间“线性相关”的程度.,=E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y),e =EY-(a+bX)2 ,解得,这样求出的最佳逼近为 L(X)=a0+b0X,这样求出的最佳逼近为L(X)=a0+b0X,这一逼近的剩余是,若 =0， Y与X无线性关系;,若0| |1,| |的值越接近于1, Y与X的线性相关程度越高;,| |
6、的值越接近于0, Y与X的线性相关程度越弱.,E(Y-L(X)2= D(Y)(1- ),3. X和Y独立时， =0，但其逆不真.,由于当X和Y独立时，Cov(X,Y)= 0.,故,= 0,例1 设X服从(-1/2, 1/2)内的均匀分布,而 Y=cos X,因而 =0，,即X和Y不相关 .,但Y与X有严格的函数关系，,即X和Y不独立 .,因Cov(X,Y)=E(XY)-E(X)E(Y)，,E(X)=0，,故 Cov(X,Y)=0,任意两个随机变量X和Y的协方差,记为Cov(X,Y), 定义为, Cov(X1+X2,Y)= Cov(X1,Y) + Cov(X2,Y), Cov(X,Y)= Cov
7、(Y,X),一、协方差,2.简单性质, Cov(aX,bY) = ab Cov(X,Y) a,b是常数,Cov(X,Y)=E X-E(X)Y-E(Y) ,1.定义,(4) Cov(X,X)= D(X) ; Cov(X,a)= 0,Cov(X,Y)=E(XY) -E(X)E(Y),二、相关系数,为随机变量X和Y的相关系数 .,在不致引起混淆时，记 为 .,但对下述情形，独立与不相关等价,所以有：,若X与Y独立，则X与Y不相关，,但由X与Y不相关，不一定能推出X与Y独立.,1、X与Y不相关，XY =0； 2、Cov(X,Y)=0； 3、E(XY)=E(X)E(Y)； 4、D(X+Y)=D(X)+D
8、(Y)。,四个等价命题,证明：12。已知XY =0，,1、X与Y不相关，XY =0； 2、Cov(X,Y)=0； 3、E(XY)=E(X)E(Y)； 4、D(X+Y)=D(X)+D(Y)。,四个等价命题,证明：23。已知Cov(X,Y)=0，,因为Cov(X,Y)=E(XY)-E(X)E(Y),所以E(XY)=E(X)E(Y),1、X与Y不相关，XY =0； 2、Cov(X,Y)=0； 3、E(XY)=E(X)E(Y)； 4、D(X+Y)=D(X)+D(Y)。,四个等价命题,证明：34。已知E(XY)=E(X)E(Y) ，,因为D(X+Y)=D(X)+D(Y) +2Cov(X,Y) = D(X
9、)+D(Y) +2E(XY)-E(X)E(Y),所以D(X+Y)=D(X)+D(Y),1、X与Y不相关，XY =0； 2、Cov(X,Y)=0； 3、E(XY)=E(X)E(Y)； 4、D(X+Y)=D(X)+D(Y)。,四个等价命题,证明：41。已知D(X+Y)=D(X)+D(Y) ，,D(X+Y)=D(X)+D(Y)+2Cov(X,Y),所以XY =0,这一节我们介绍了协方差和相关系数,相关系数是刻划两个变量间线性相关程度 的一个重要的数字特征.,注意独立与不相关并不是等价的.,当(X,Y)服从二维正态分布时，有,例1,例2 二维r.v. (X,Y)的联合分布律如表，求：(1)XY (2)
10、 X与Y是否相互独立 ？,解： 先求X的 边 缘分布,1/2 1/2,1/4 1/4 1/4 1/4,例1,1/2 1/2,1/4 1/4 1/4 1/4,同理可得,例1,例3(Ex.) 二维c.r.v. (X,Y)的概率密度为,，求：XY,解： 先求X，Y的边 缘分布,y,例1,y,例1,例4(Ex.),解：,例1,例4(Ex.),解：,（3）对于二维正态分布，X、Y相互独立等价于X、Y不相关，,故与Z相互独立。,矩、协方差矩阵,定义 设X和Y是随机变量，若,E(Xk), k=1,2,存在，称它为X的k阶原点矩，简称k阶矩。,若 EX-E(X)k, k=1,2, 存在，称它为X的k阶中心矩。
11、,若 E(XkYl), k,l=1,2, 存在，称它为X和Y的k+l 阶混合矩。,若 EX-E(X)k Y-E(Y)l, k,l=1,2, 存在，称它为X 和Y的k+l 阶混合中心矩。,协方差Cov(X,Y)是X和Y的 二阶混合中心矩.,可见，,协方差矩阵的定义,将二维随机变量（X1,X2）的四个二阶中心矩,排成矩阵的形式:,称此矩阵为（X1,X2）的协方差矩阵.,这是一个 对称矩阵,类似定义n维随机变量(X1,X2, ,Xn) 的协方差矩阵.,下面给出n维正态分布的概率密度的定义.,为(X1,X2, ,Xn) 的协方差矩阵,称矩阵,f (x1,x2, ,xn),则称X服从n维正态分布.,其中
12、C是(X1,X2, ,Xn) 的协方差矩阵.,|C|是它的行列式， 表示C的逆矩阵，,X和 是n维列向量， 表示X的转置.,设 =(X1,X2, ,Xn)是一个n维随机向量, 若它的概率密度为,n维正态分布的几条重要性质,1. n维正态变量 (X1,X2, ,Xn)的每一个分量Xi,i=1,2,n都是正态变量；反之，若X1,X2, ,Xn都是正态变量，且相互独立，则(X1,X2, ,Xn)是n维正态变量。,n维正态分布的几条重要性质,2. n 维随机变量(X1,X2, ,Xn)服从n维正态分布的充分必要条件是X1,X2, ,Xn的任意和线性组合：,a1X1+ a2 X2+ + an Xn,服从
13、一维正态分布。其中a1,a2,an，不全为零。,n维正态分布的几条重要性质,3. 若 X=(X1,X2, ,Xn)服从n维正态分布，,Y1,Y2, ，Yk是Xj（j=1,2,n）的线性函数，,则(Y1,Y2, ，Yk)也服从多维正态分布.,这一性质称为正态变量的线性变换不变性.,n维正态分布的几条重要性质,4. 设(X1,X2, ,Xn)服从n维正态分布，则,“X1,X2, ,Xn相互独立”,等价于,“X1,X2, ,Xn两两不相关”,例1 设随机变量X和Y相互独立且XN(1,2), YN(0,1). 试求Z=2X-Y+3的概率密度.,故X和Y的联合分布为正态分布，X和Y的 任意线性组合是正态分布.,解: XN(1,2),YN(0,1)，且X与Y独立,D(Z)=4D(X)+D(Y)=8+1=9,E(Z)=2E(X)-E(Y)+3=2+3=5,即 ZN(E(Z), D(Z),ZN(5, 32),故Z的概率密度是,ZN(5, 32),