《第五章01极大似然估计与据估计.ppt.ppt》由会员分享，可在线阅读，更多相关《第五章01极大似然估计与据估计.ppt.ppt（13页珍藏版）》请在三一文库上搜索。
1、矩估计与极大似然估计,1、概论：,统计推断:从观测数据推断未知变量或未知模型的有关信息的过程.,（1）统计学中两种重要方法：贝叶斯统计推断和经典统计推断,（2）统计推断的主要内容：参数估计，假设检验和显著性检验,（3）统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验，等等,2、点估计,设总体X的分布函数,中的参数,未知，,是来自总体的样本。我们用一个统计量,的取值,作为的估计值，统计量,称为的点估计（量），简称估计。,如何构造统计量没有明确的规定，只要满足一定的合理性即可。,问题一：如何给出估计，即估计方法问题。,问题二：对不同的估计进行评价，即估计好坏的判
2、断标准,极大似然估计,例：设有外形完全相同的两个箱子，甲箱中有3个白球，1个黑球，乙箱中有3个黑球1个白球。现随机的抽取一箱，并从中取出一球，结果取得白球。问这球是从那一箱子中取出的？,解：,设A表示“取出白球”，则：,即：如果取出的是甲箱，A发生的概率为0.75,即：如果取出的是乙箱，A发生的概率为0.25,于是我们判断：此球最像是从甲箱中取出的。,这里“最像”就是“极大似然”的意思。,若抽取次数增加为3次(有放回),白球和黑球的比例未知的情况（下例）：,于是判断：p=3/4,例：设一个箱子中装有白球和黑球，共4个，但不知道白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比
3、例是多少。,解：设白球所占的比例为p，则p的取值为:0，1/4，2/4，3/4，1,根据二项分布，,得：,如果箱子中的球的个数未知，且比较大，则p的范围：,此时我们应该选择p，使得,尽可能大,令,当p=2/3时，L(p)取最大值，,于是估计p=2/3,更一般的情况：有放回的n次取球：,如果箱子中的白球的比例为p，有放回的n次取球，结果为：,其中,于是：,令,根据极大似然原理，应选择p，使L(p)尽可能大。,由于：,求导得方程：,解得：,定义：设总体的概率函数为,其中是未知参数，,是参数的可能取值空间，,是来自该总体的样本，,其联合概率函数看作是关于的函数：,称为样本的似然函数。,如果统计量满足
4、：,则称,是的极大似然估计量。,由于lnx单调上升，故,与,有相同的极大值点。于是,是的极大似然估计量的必要条件是：,此方程称为似然方程，它的解,为极大似然估计量,例2：已知总体X服从参数为的泊松分布，概率函数为,求参数的极大似然估计量。,解：参数的似然函数为：,取对数：,似然方程：,解得：,连续型随机变量的极大似然估计,若总体X是连续型随机变量，密度函数为,为未知参数,又设,为样本,的一个观测值，,那么样本,落在点,的邻域里的,概率为,极大似然原理就是选取使,达到最大的数值,作为参数的估计值。,此时，似然函数为：,对数似然方程仍为：,例 设总体X服从参数为的指数分布，密度函数为,0,x0,试
5、求参数 的极大似然估计量。,解：似然函数为,取对数：,似然方程为：,解得：,多参数情形：,例:设总体X服从正态分布：,试求及 的极大似然估计,解：,似然函数为,似然方程：,解得,取对数：,均匀分布,求的极大似然估计量,例 设XU0,q，密度函数为,解 似然函数为,由,似然方程：,无解,由于,故,因而,是的极大似然估计量,例 设总体XUa,b，密度函数为,求a,b的最大似然估计量。,解 似然函数为,由于,故,于是a，b的极大似然估计量分别是：,矩估计,1.样本k阶原点矩 2.样本k阶中心矩,样本矩,总体矩,1.总体X的k阶原点矩 mk= E(Xk)，k=1,2, k=1时， m1= EX 2.总体X的k阶中心矩 sk=E(X-EX)k，k=1,2, k=2时， s2= E(X-EX)2=DX,矩估计的方法,用样本矩去估计相应的总体矩，进而求出参数的估计量。称为参数的矩估计量。 例如：用样本1阶原点矩估计总体1阶原点矩 即,例1. 设总体X服从参数为l的指数分布，求l的矩估计量 解 由于EX=1/l=m，又,即,例2. 设总体XU0,q ，求q的矩估计量 解 由,即,例3. 设总体XUa,b ，求 a,b 的矩估计量 解 由,即,解出,