概率论与数理统计第七章.ppt

《概率论与数理统计第七章.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计第七章.ppt（100页珍藏版）》请在三一文库上搜索。

1、,第 七 章 参 数 估 计,湖南商学院信息系 数学教研室,第 七 章 参 数 估 计,第一节 矩 估 计 第二节 极大似然估计 第三节 估计量的优良性准则 第四节 正态总体的区间估计（一） 第五节 正态总体的区间估计（二）,总体是由总体分布来刻画的. 总体分布类型的判断在实际问题中,我们根据问题本身的专业知识或以往的经验或适当的统计方法,有时可以判断总体分布的类型. 总体分布的未知参数的估计总体分布的参数往往是未知的,需要通过样本来估计.通过样本来估计总体的参数,称为参数估计,它是统计推断的一种重要形式.,本章讨论: 参数估计的常用方法. 估计的优良性准则. 若干重要总体的参数估计问题.,例

2、如 (1) 为了研究人们的市场消费行为,我们要先搞清楚人们的收入状况. 假设某城市人均年收入XN(,2). 但参数 和 2 的具体值并不知道,需要 通过样本来估计. (2) 假定某城市在单位时间(譬如一 个月)内交通事故发生次数 X P(). 参数未知,需要从样本来估计.,这类问题称为参数估计.,参数估计问题的一般提法,X1, X2 , , Xn,参数估计,点估计,区间估计,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的任务是

3、要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,一、点估计概念及讨论的问题,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿,得100个体重数据,9, 7, 6, 6.5, 5, 5.2, ,而全部信息就由这100个数组成.,把样本值代入T(X1, X2, , Xn) 中，得到,的一个点估计值 .,二、寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,第 七 章第一节 矩 估 计,其基本思想是用样本矩估计总体矩 .,理论依据:,矩是基于一种简单的“替换”思想建立起来的一种估计方法 .

4、,是英国统计学家K.皮尔逊最早提出的 .,大数定律,记总体k阶矩为,样本k阶矩为,用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.,记总体k阶中心矩为,样本k阶中心矩为,设总体X的分布函数中含有k个未知参数,步骤一、 我们把总体X的m阶原点矩E(Xm)记为 am , m=1,2, ,k,am (1,2,k) (m=1,2, ,k),方法,步骤二、 算出m阶样本原点矩:,步骤三、令 am (1,2,k) = Am (m=1,2, ,k)得关于 1,2,k的 方程组,步骤四、解这个方程组,其解记为,它们就可以做为1,2 ,k的估计.这样求出的估计叫做矩估计., X1,X2 , ,Xn是独立同

5、分布的. X1m,X2m, ,Xnm也是独立同分布的. 于是有: E(X1m)=E(X2m)=E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均值am=E(Xm).即:,原理解释,解:,由矩法,样本矩,总体矩,从中解得,数学期望 是一阶 原点矩,解: 由密度函数知,具有均值为 的指数分布,故 E(X- )=,Var(X- )=,用样本矩估计 总体矩,设总体的均值为,方差为2 ,于是,由此列出方程组:,例3 均值,方差2的矩估计,均值,方差2的矩估计是:,例如 求正态总体 N(,2)两个未知参数和2的矩估计为,总体均匀分布

6、 X U(a,b). 求:两个参数a,b的矩估计,解:,又如,但是,由方程组求解出a,b的矩估计:,矩法的优点是简单易行,并不需要事先知道总体是什么分布 .,缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性 .,稍事休息,第七章第二节 极大似然估计,极大似然法,是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家 高斯在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于 英国统计学家费歇 .,费歇在1922年重新发现了 这一方法，并

7、首先研究了这 种方法的一些性质 .,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,这个例子所作的推断已经体现了极大似然法的基本思想 .,极大似然估计原理：,当给定样本X1,X2,Xn时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,Xn; ) .,似然函数：,极大似然估计法就是用使

8、 达到最 大值的 去估计 .,称 为 的极大似然估计（MLE）.,看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,Xn的一种度量 .,(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .,求极大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合概率函数 (或联合密度);,(2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );,(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;,两点说明：,1、求似然函数L( ) 的最大值点，可以应用微积分

9、中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必须用似然方程 组代替 .,2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .,两点说明：,下面举例说明如何求极大似然估计,L(p)= f (X1,X2,Xn; p ),例1 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数p的极大似然估计.,解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,正态总体

10、N(,2)两个未知参数和2的极大似然估计.(注:我们把2看作一个参数),解:,例2,似然方程组为,根据第一式,就得到:,代入第二式,就得到:,由上,似然方程组的解唯一.下面验证它是极大值点.,是L(,2)的最大值点. 和2的极大似然估计量是,总体 泊松分布 X P(). 求:参数的极大似然估计.,解:,例3,似然方程为,是logL()的最大值点. 的极大似然估计量是,总体均匀分布 X U(a,b). 求:两个参数a,b的极大似然估计,解:,例 4,我们由上看到,L(a,b)作为a和b的二元函数是不连续的.所以我们不能用似然方程组来求极大似然估计,而必须从极大似然估计的定义出发,求L(a,b)的

11、最大值.,为使L(a,b)达到最大,ba应该尽量地小. 但 b 又不能小于maxx1,x2 , ,xn .否则, L(a,b)=0.类似地a不能大过minx1,x2,xn. 因此,a和b的极大似然估计为,解：似然函数为,对数似然函数为,例5设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,解：似然函数为,i=1,2,n,对数似然函数为,解：似然函数为,i=1,2,n,=0 (2),由(1)得,=0 (1),对 分别求偏导并令其为0,对数似然函数为,是,对,故使 达到最大的 即 的MLE，,于是,取其它值

12、时，,即 为 的MLE .,且是 的增函数,由于,第七章第三节 估计量的优良性准则,从前面两节的讨论中我们看到: 有时候同一个参数可以有几种不同的估计方法,这时就存在采用哪一个估计的问题. 另一方面,对一个参数,用矩法和极大似然法这两种方法即使得到的是同一种估计,也存在一个衡量这个估计优劣的问题. 估计量的优良性准则讨论的就是: 评价一个估计的标准问题.,假设总体分布的参数为.,对 一切可能的成立,则称,一、 无偏性,是的一个估计. 注意!它是一个统计量.从而是随机变量.对于样本X1,X2 , ,Xn不同的取值,它也会取不同的值.如果,的均值等于未知参数, 即,为的无偏估计.,去估计未知参数,

13、有时候可能偏高,有时候可能偏低,但是平均来说它等于. “一切可能的”是指该参数估计问题中,参数取值范围内的一切可能的值. 我们之所以要求对一切可能的都成立,是因为在该参数估计问题中,我们并不知道参数的真值.自然要求它在参数的一切可能取值范围内都成立:,无偏性的意义是,用一个估计量,说明,设X1,X2 , ,Xn为抽自均值为的总体X的样本,考虑的估计量:,我们举例体会怎样把握“一切可能的”.例如: 若指的是正态总体N(,2)的均值,那么,它的一切可能取值范围是(-,). 若指的是方差2,则它的一切可能取值范围是(0,).,例1,设总体X的均值为,方差为2, X1,X2 , ,Xn为来自该总体的样

14、本,依第六章所讲取其样本均值和样本方差:,即样本均值和样本方差是和2的无偏估计.,定理,证明:,求证:样本标准差S不是总体标准差的无偏估计.,证明:,注意,例 7.3.2,E(S2)=2 就是Var(S)+E(S)2 =2 Var(S)0 E(S)2 =2 -Var(S)2 E(S).即:一般说S不是的无偏估计.,用估计量,去估计,其误差为:,它随样本X1,X2 , ,Xn的值而定,也是随机的,即:,二、 均方误差准则,是随机变量 由于它是随机变量,我们通常是通过对它求均值来看看误差有多大. 我们要注意:为了防止求均值时正误差和负误差相互抵消,我们先将其平方再求均值,并将其称为均方误差,记为M

15、SE(),即,这时两个估计中哪一个估计的均方误差小,我们就把哪一个估计看作比较优,这种判定估计量的准则叫均方误差准则.,均方误差能够分解成两部分:,均方误差准则,证明:,说明,上式表明,均方误差由两部分构成: 第一部分是估计量的方差.,注意:如果一个估计量是无偏的,则第二部分是零.即有:,方差准则,如果限定在无偏估计里考虑问题,这时两个估计中哪一个估计的方差小, 我们就把哪一个估计看作比较优,这种判定估计量的准则叫方差准则.,设X1,X2 , ,Xn为抽自均值为的总体,考虑的如下两个估计:,我们看到: 显然两个估计都是的无偏估计. 再计算其方差:,例3,表示去掉第个样本式后,对其余n-1个样本

16、所求的样本均值.,这表明,当我们用样本均值去估计总体均值时,使用全体样本总比不使用全体样本要好.,第七章第四节 正态总体的区间估计 （一）,引言,前面，我们讨论了参数点估计. 它是用样本算得的一个值去估计未知参数. 但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大. 区间估计正好弥补了点估计的这个缺陷 .,譬如，在估计湖中鱼数的问题中，若我们根据一个实际样本，得到鱼数N的极大似然估计为1000条.,若我们能给出一个区间，在此区间内我们合理地相信 N 的真值位于其中. 这样对鱼数的估计就有把握多了.,实际上，N的真值可能大于1000条， 也可能小于10

17、00条.,也就是说，我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真参数值.,湖中鱼数的真值, ,这里所说的“可靠程度”是用概率来度量的，称为置信概率，置信度或置信水平.,置信水平的大小是根据实际需要选定的.,例如，通常可取置信水平 =0.95或0.9等.,寻找置信区间的方法,一般是从确定误差限入手.,使得,称 为 与 之间的误差限 .,我们选取未知参数的某个估计量 ，根据置信水平 ，可以找到一个正数 ，,只要知道 的概率分布，确定误差限并不难.,下面我们就来正式给出置信区间的定义,并通过例子说明求置信区间的方法.,这个不等式就是我们所求的置信区间.,前面已经给出了概率分布的上侧分

18、位数（分位点）的定义，为便于应用，这里我们再简要复习一下.,在求置信区间时，要查表求分位数.,例如:,例如:,书末附有 分布、t 分布、F分布的上侧分位数表，供使用. 需要注意的事项在教材上有说明.,至于如何由标准正态分布函数表查表求得分位数，若你对分布函数定义熟悉的话，这个问题不难解决.,现在回到置信区间题目上来.,一、 置信区间定义：,则称区间 是 的置信水平（置信度、 置信概率）为 的置信区间.,可见，,即要求估计尽量可靠.,可靠度与精度是一对矛盾， 一般是在保证可靠度的条件下 尽可能提高精度.,N(0, 1),选 的点估计为,二、置信区间的求法,解：,寻找一个待估参数和 估计量的函数

19、，要求 其分布为已知.,有了分布，就可以求出 U取值于任意区间的概率.,对于给定的置信水平(大概率), 根据U的分布， 确定一个区间, 使得U取值于该区间的概率为 置信水平.,使,对给定的置信水平,查正态分布表得,使,从中解得,也可简记为,于是所求 的 置信区间为,从解题的过程，我们归纳出求置信区间的一般步骤如下:,1. 明确问题, 是求什么参数的置信区间?,置信水平 是多少?,2. 寻找参数 的一个良好的点估计T (X1,X2,Xn),3. 寻找一个待估参数 和估计量T的函数 S(T, ),且其分布为已知.,5. 对“aS(T, )b”作等价变形,得到如下 形式:,则 就是 的100( )的

20、置信区间.,这里，我们主要讨论总体分布为正态的情形. 若样本容量很大，即使总体分布未知，应用中心极限定理，可得总体的近似分布，于是也可以近似求得参数的区间估计.,某工厂生产的零件长度X被认为服从N( ,0.04),现从该产品中随机抽取6个,其长度的测量值如下(单位毫米): 14.6,15.l,14.9,14.8,15.2,15.1. 求:该零件长度的置信系数为0.95的区间估计.,n=6, =0.05, Z/2 =Z0.025=1.96 2=0.22 .,解:,例1,(2) 已知,因方差未知，取,对给定的置信度 ,确定分位数,使,即,从中解得,由于,从中解得,2 求方差 的置信水平为 的区间估

21、计.,于是 即为所求.,为了估计一件物体的重量,将其称了1O次,得到的重量(单位：千克)为: 10.l, 10, 9.8, 10.5, 9.7,l0.l, 9.9, 10.2, 1O.3, 9.9 设所称出的物体重量X服从N(,2). 求:该物体重量的置信系数为0.95的置信区间,解:,例2,n=10, =0.05, t10-1(/2)=t9(0.025)=2.2622,求: 2的置信系数为0.95的置信区间.,解:,例3(续例2),n=10, =0.05,S2=0.0583,查附表得:,三、单侧置信区间,上述置信区间中置信限都是双侧的，但对于有些实际问题，人们关心的只是参数在一个方向的界限.,例如对于设备、元件的使用寿命来说，平均寿命过长没什么问题，过短就有问题了.,这时，可将置信上限取为+，而只着眼于置信下限，这样求得的置信区间叫单侧置信区间.,于是引入单侧置信区间和置信限的定义：,又若统计量 满足,由于方差 未知，取枢轴量,解： 的点估计取为样本均值,对给定的置信水平 ，确定分位数,使,即,于是得到 的置信水平为 的单侧置信区间为,将样本值代入得,的置信水平为0.95的单侧置信下限是,1065小时,同学们可通过练习，掌握各种求未知参数的 置信区间的具体方法.,这一讲，我们介绍了区间估计.,