《6[1].2极大似然估计.ppt》由会员分享，可在线阅读，更多相关《6[1].2极大似然估计.ppt（29页珍藏版）》请在三一文库上搜索。
1、6.2 极大似然估计,极大似然估计是在母体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家高斯在1821年提出的 ,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .,先通过一个简单的例子来说明极大似然估计的基本思想,一只野兔从前方窜过，,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,下面我们再看两个例子,进一步体会极大似然法的基本思想 .,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想 .,例1
2、 一个箱子里装有黑、白球共9个,我们从中随机地无放回地抽取三个球，发现恰有2个黑球，请猜一下(估计)箱子里有几个黑球，几个白球.,这是典型的“黑箱”问题.可以这样来分析、推断： 随机所以能取得“二个黑球一个白球”这是由箱中球的状况决定的.我们就从这个“信息”出发.,箱中球的状况 能取得二个黑球一个白球的 (所有可能情形) 可能性大小 黑球数 白球数 P 1. 1 8 0 2 . 2 7 3. 3 6 4. 4 5 5. 5 4 6. 6 3 7. 7 2 8. 8 1 9. 9 0 0 10. 0 9 0,比较这些概率的大小 ，我们可以推断箱中黑球数最有可能是6个(显然，这个推断不是绝对正确的
3、).,这是一种新的逻辑推理方法：根据概率最大，推断 “事情”发生的原因是什么.,例2 一批产品，合格品率为p，从中抽得 子样 (1, 1，0, 1，1)，其中1为合格品，0为不合格品，试估计这批产品的合格品率p.,解：该母体服从两点分布： 0 1 P 1-p p 因此，出现此子样的可能性的大小，是概率,这时, 对一切0p1,均有,以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 .,极大似然估计原理：,当给定子样观测值x1, x2, xn时, 定义似然函数（likelihood function）为：,设1,2,n是取自母体的一个子样，为未知参数，子样的联合密度(连续
4、型）或联合分布列(离散型)为 f (x1, x2, xn; ),=f (x1, x2, xn; ),L()=L ( ;x1, x2, xn),极大似然估计法就是用使L()达到最大值的 去估计，即,L()看作参数的函数，它可作为将以多大可能产生子样观测值x1, x2, xn的一种度量 .,则称 为的极大似然估计（MLE）.,6.2 极大似然估计,极大似然估计原理：,设1,2,n是取自母体的一个子样，为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为 f (x1, x2, xn; ),定义似然函数（likelihood function）,= f (x1, x2, xn; ),L()=L
5、 ( ;x1, x2, xn),极大似然估计法就是用使L()达到最大值的 去估计，即,则称 为的极大似然估计（MLE）.,定义似然函数（likelihood function）,=f (x1, x2, xn; ),L()=L ( ;x1, x2, xn),求极大似然估计(MLE)的一般步骤:,(1)由母体分布写出子样的联合分布列(或联合密度);,(2) 把子样联合分布列(或联合密度)中的自变量看成已知常数,而把参数看作自变量,得到似然函数L();,(3) 求似然函数L() 的最大值点(常常转化为求ln L()的最大值点) ，即的MLE,2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然估计原理来求 .,说明：,例1 设1,2, n是取自母体 b(1, p) 的一个子样，求参数p的极大似然估计.,注,最大次序统计量,注,矩估计量,注,例3 一罐中装有白球和黑球，有放回地抽取一个容量为n的子样，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计值.,解: 设罐中有白球x个，则有黑球Rx个，从而罐中共 有(R+1)x个球,先求p的MLE：,p的MLE为,在前面例2中,我们已求得,由前述极大似然估计的不变性不难求得,的MLE是,作业： p.304-305 6.7、 6.8、6.12,