《十章点估计.ppt》由会员分享，可在线阅读，更多相关《十章点估计.ppt（52页珍藏版）》请在三一文库上搜索。
1、第十章 点估计,估计问题 估计方法 点估计的优良性,第十章 点估计,在实际问题中，经常遇到随机变量X（即总体X）的分布 函数的形式已知，但它的一个或者多个参数未知的情形， 此时写不出确切的概率密度函数.若通过简单随机抽样，得 到总体X的一个样本观测值，我们自然会想到利用这一组数 据来估计这一个或多个未知参数.诸如此类，利用样本去估 计总体未知参数的问题，称为参数估计问题. 参数估计问题有两类，分别是点估计和区间估计.而参 数估计是统计推断的一个重要组成部分，可以这样说统计 推断的基本问题可以分为两大类: 一是参数估计问题， 二 是假设检验问题。,数理统计问题：如何选取样本来对总体的种种统计 特
2、征作出判断。,参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计（paramentric estimation）。,参数估计的类型点估计、区间估计,第七章 点估计,参数估计,点估计 区间估计,估计未知参数的值,估计未知参数的取值范围，并使此范围包含未知参数的真值的概率为给定的值,设 是来自总体 的一个样本，所谓统计模 型，即样本 的联合分布。由于样本是独立同分布 的故可一般地表述统计模型为：,第一节 点估计问题,设总体X的分布函数 F（x，）是已知的 ，是未知的分布参数，参数的所有可能取值组成的集合称为参数空间，常用表示，参数估
3、计问题就是根据样本对上述未知参数做出估计。当X为离散时，F（x，）为分布律；当X为连续时，F（x，）为密度函数,第一节 点估计问题,例 某种同型号产品个，其合格率未知，对该批产品作质量检验，从中随机抽取件（）当第次抽到的产品为合格时，记，反之记 则 就是样本总体分布为二点分布 ，参数空间 ，容易得到统计模型,例 一批灯管寿命服从指数分布E(), 0 未知，从中随机抽取n支， 为其寿命，则统计模型为,其中 只取大于0的实数值,第一节 点估计问题,在统计模型(1)中，若知道，就完全知道了总体的分 布，因此在模型(1)下，统计推断的对象或者说各种统计 推断问题都是同这个未知参数有关。,注意： 虽然g
4、()已知的函数，但未知，因而函数值g() 是未知的,假设模型(1)及有一个同有关的指标，=g() , 可以是向量值。我们的问题是：基于样本 ，估计g() 。,其中参数(,2),参数空间 ，估计对象是中的一个分量，令g()= ，是一个定义在上的已知函数，问题是：基于 ，由此估计未知函数值g() .,第一节 点估计问题,第一节 点估计问题,例4(续例3) 要在该地区中学生中挑选生排球队员, 标准是其身高必须高于1.90m.问题是估计中选率.,由正态分布性质,可将表示成如下的的已知函 数形式:,其中 是标准正态分布函数,这个函数在未知参 数 处的值正是要估计的对象.,第一节 点估计问题,点估计的思想
5、方法： 设总体的分布函数的形式已知，但含有一或多个未知参数： 。设 为总体的一个样本，构造个统计量,随机变量,第一节 点估计问题,当测得样本值 时，代入上述方程组，即 可得到个数：,数 值,称数 为未知参数 的估计值, 对应统计量为未知参数 的估计量,统计估计沿用以下规则：若 的一个估计，则 的估计自动地被估计为 ，称这一规则为估计的自助程序。,的估计为 ,的估计为S ,则的估计是,第一节 点估计问题,说明: 1.给出 ,等同于给出的一种估计规则(估计程 序), 有了观 察数据,如何算出估计值. 2.估计量不必唯一,同一参数可以构造不同的统计量用以估计. 因此有一个估计量好环的比较评价估计量好
6、环的准则.,例如在例4中,第二节 估计方法,两种常用的构造估计量的方法：,一.矩估计法,定义：用样本矩来代替总体矩,从而得到总体分布中参数的一种估计.这种估计方法称为矩估计法.它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩.也称之为替换原则. 特点：不需要假定总体分布有明确的分布类型。,矩估计法 极大似然估计法,第二节 估计方法,设总体X具有已知类型的概率函数f(x;),=(1,k) 是k个未知参数.(X1,X2,Xn)是来自总体X的一个样本.假 若X的k阶矩k=E(Xk)存在,则对于ik, E(Xi)都存在,并且 是(1,k)的函数i(1,k).,得到含有未知参数(1,k)的
7、k个方程.解这k个联立方程 组就可以得到(1,k)的一组解:,第二节 估计方法,用上面的解来估计参数i就是矩估计法.,第二节 估计方法,例: 设总体X服从泊松分布，参数未知， 是来自总体的一个样本，求参数的矩估计量.,解：总体X的期望为,从而得到方程,所以的矩估计量为,110，184，145，122，165，143，78，129，62， 130，168,第二节 估计方法,例5 设有一批同型号灯管,其寿命(单位：h)服从参数为的指数分布，今随机抽取其中的11只，测得其寿命数据如下：,用矩估计法估计值。,解：设X为灯管的寿命，则,的矩估计,已知n=11，,的观察值为,因而的估计值为：,第二节 估计
8、方法,例6 设总体X有均值和方差 ，今有6个随机样本 的观察数据为：-1.20,0.82,0.12,0.45,-0.85,-0.30 求和 的矩估计量.,解:参数 是二维的. 因为,第二节 估计方法,例7 设 是来自(1,2) 上均匀分布样本, 12 未知. 求1,2的矩估计.,解得1,2 的矩估计为：,解:因为,例: 设某炸药厂一天中发生着火现象的次数X服从,解：,练习,解 由于,所以由矩法估计，得,解得,所以，参数 的矩估计量为,练习 对容量为n的子样，求下列密度函数中参数 的 矩估计量。,为了叙述极大似然原理的直观想法，先看一个例子。,第二节 估计方法,极大似然估计法是求估计用的最多的方
9、法，它最早 是由高斯在1821年提出，但一般将之归功于费舍尔 (R.A.Fisher)，因为费舍尔在1922年再次提出了这种 想法，并证明它的一些性质，从而使得极大似然法得 到了广泛的应用。,二.极大似然估计法,特点：适用总体的分布类型已知的统计模型,第二节 估计方法,例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球,现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.,问: 所取的球来自哪一箱？,答: 第一箱.,思想方法：一次试验就出现的 事件有较大的概率,参数的极大似然估计法,思想：设总体X的密度函数为f(x,)，为未知参数
10、，则 样本（X1,X2,Xn）的联合密度函数为,令,参数的估计量 ，使得样本（X1,X2,Xn）落在观测 值 的邻域内的概率L()达到最大，即,则称 为参数的极大似然估计值。,似然函数:,第二节 估计方法,参数的极大似然估计法,求解方法：,（2）取自然对数,其解 即为参数的极大似然估计值。,（3）令,（1）构造似然函数,若总体的密度函数中有多个参数1，2，n，则将 第（3）步改为,解方程组即可。,例4 设 是一随机变量， 是它的一个样本。 X 的分布密度如下，求参数 的极大似然估计量。,其它,解：似然函数（当 时）：,由似然方程：,参数 的极大似然估计量为,第二节 估计方法,例8 设 是来自
11、的样本，求 极大似然估计,故似然函数为：,解：X的密度函数为：,所以对数似然函数为：,是极大似然估计量,第二节 估计方法,似然方程组为:,解方程组得:,注意：虽然求导函数是求极大似然估计量常用的方法，但并不是所有场合求导都是有效的，下面的例子说明例这个问题。,第二节 估计方法,例 设总体 ，a,b未知， 是一个 样本值，试求a,b 的极大似然估计量。,解：总体X密度函数为：,似然函数为：,要使L()最大，只要b-a最小，由于,第二节 估计方法,似然函数取得最大值为：,故a,b的极大似然估计值为：,第二节 估计方法,故a,b的极大似然估计量为：,第二节 估计方法,例9:设 是来自 上均匀分布的样
12、本,0未知,求得极大似然估计,解:总体X的密度函数为：,似然函数为：,因此只能求函数L()得最大值点.,练习,第二节 估计方法,解：,总体X服从参数为的指数分布，则有,所以似然函数为:,取对数,令,解得的极大似然估计值为,极大似然估计量为,第三节 点估计的优良性,对于同一个未知参数,不同的方法得到的估计量可能不 同,怎么判别出哪一个“更佳”呢？,应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?,估计量的评选标准,无偏性,如：设 是一随机变量， 是它的一个样本。,因为,所以样本均值是总体均值的无偏估计量。,第三节 点估计的优良性,例10 是总体均值的无偏估计；样本方差 不是总体方差 的无
13、偏估计。,证明：,而,所以是有偏估计.,考虑：若使用修正样本方差 是不是无偏估计？,第三节 点估计的优良性,例11 均匀分布R(0,)的参数的极大似然估计 但不是的无偏估计.,解:,第三节 点估计的优良性,故X(n)的密度函数,例4 设总体 X 的密度函数为,证,故,是 的无偏估计量.,为常数,为 X 的一个样本,练习,令,即,故n Z 是 的无偏估计量.,练习,第三节 点估计的优良,都是总体参数g() 的无偏估计量, 且,则称 比 更有效.,参数的无偏估计可以很多，如何在无偏估计中进行选择？直观的想法是希望该估计围绕参数真值的波动越小越好，波动大小可以用方差来衡量，因此人们常用无偏估计 的方
14、差的大小来度量无偏估计优劣的标准，这就是有效性。,定义,第三节 点估计的优良,故得,例 设总体 X 的密度函数为,哪个估计更有效？,为常数,所以,比,更有效.,解 ，,例6 设总体 X，且 E( X )= , D( X )= 2,为总体 X 的一个样本,证明,是 的无偏估计量,(2) 证明,比,更有效,证 (1),(1) 设常数,(2),而,例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一样本.,都是 的无偏估计量,第三节 点估计的优良,我们知道，点估计是一个统计量，因此它是一个随机 变量，在样本量一定的条件下，我们不可能要求它完全等 同于参数的真实值。但是随着样本容量的不断增大
15、时， 与g()越来越接近，以至于最后完全重合.,定义 设 是总体参数g() 的估计量.,若对于任意的 , 当n 时,依概率收敛于g() , 即,相合性估计量仅在样本容量n 足够大时,才显示其优越性.,第三节 点估计的优良,相合估计量的意义在于：只要样本容量足够大，就可以 使相合估计量与参数真实值之间的差异大于的概率足够 地小，也就是估计量可以用任意接近于的概率把参数真 实值估计到任意的精度. 相合性是点估计的大样本性质，指的是：这种性质是针 对样本容量 而言，对于一个固定的样本容量n，相 合性是无意义的. 与此相对，无偏性和有效性的概念是对固定的样本而 言，不需要样本容量趋于无穷，这种性质也称为“小样本 性质”.,第三节 点估计的优良,例12 设总体有正态分布 则修正样本方差 是 的相合估计。,证明：,因为,由切比雪夫不等式得,结论得证.,证明相合性只需证明,证明 是 的无偏、有效、相合估计量.,练习,