《最小二乘估计.ppt》由会员分享，可在线阅读，更多相关《最小二乘估计.ppt（24页珍藏版）》请在三一文库上搜索。
1、最小二乘估计 Least Squares Estimate 胡玮 2010年5月,乡嚎锌浚靶汤捐婿撒甭郧肇韭矫匹敖宪龋耳埔扒表苟痛菠碾赴媚羞质祝曼最小二乘估计最小二乘估计,最小二乘估计,1、概述 2、线性最小二乘估计 3、线性最小二乘加权估计 4、线性最小二乘递推估计 5、单参量的线性最小二乘估计,萌奇店娃疽较揩江森佳诺驰捣感撰琵咋碱塔不或菱玄走碱旭铁梁进酋欠史最小二乘估计最小二乘估计,1、概述,最小二乘估计起源于1795年，当时高斯运用这种估计方法研究行星运动。 最小二乘估计不需要任何先验知识，只需估计量的观测信号模型。 平均估值方法是最小二乘估计的一个特例。,琢趴涎萝玻皋吓挟瓜钒坚湖圈面腊
2、甩赋趟逻造静镶完鸣凳施参战丛体颁铬最小二乘估计最小二乘估计,最小二乘估计方法,设被估计量信号模型为 ，因为存在观测噪声或者信号模型不精确性，设受到扰动的 记为 如果进行N次观测，的估计值设为 求 达到最小。,我们把这种估计称为最小二乘估计。,（5.8.1）,及霖肆俗颇汐诱侯圃赛内板浩仅植限拄空锦宏通泥祟涝呼锻锤夸朵交半膳最小二乘估计最小二乘估计,2、线性最小二乘估计,（1）估计量的构造规则 若被估计矢量是M维的，线性观测方程为：,其中，第k次观测矢量与 同次的观测噪声矢量 同维，但是每个 的维数不一定是相同的，其维数分别记为 ；第k次的观测矩阵 为 。,如果把全部L次观测矢量 合成一个维 数为
3、 的矢量：,（5.8.3）,钱怠枫眠伙干晨比阻骚敖其眠累讫销卢秤饲局啃泛苞蕊述怀墩炯巧难简唇最小二乘估计最小二乘估计,相应的定义NM观测矩阵H和N维观测噪声矢量n如下：,埠作剐妥璃恃椿嗽敝州俗萧侮指择阂眶哥州前躲为玉方望洛蕴韧茅柑葡素最小二乘估计最小二乘估计,这样，线性观测方程（5.8.3）写成：,使（5.8.5）式中 达到最小，这就是线性最小二乘估计量的构造规则。,（2）估计量的构造公式,为了使（5.8.5）式中 达到最小，根据构造规则，有：,挟炊铲瞧诅谬锈磅绒涅坑腮烘惑莲揉北绘旺闺咖同棕赎尘阴租负牟掷殊煮最小二乘估计最小二乘估计,即所求的的最小二乘估计误差为 。,（3）估计量的性质,估计矢
4、量是观测矢量的线性函数 如果观测噪声矢量N的均值为零，则线性最小二乘估矢量是无偏的。,鹅州篮掇厘凭舷洲承汐逛思郑冈遵掂瘩直省卷档酶遏拢菇拱责伤脆誓臂室最小二乘估计最小二乘估计,因为，如果E（n）=0， 则：,所以，是 无偏估计量。,c. 如果观测噪声矢量n的均值矢量为零，协方差矩阵为 ，则线性最小二乘估计矢量的均方误差阵为：,求给抨专迭证故穿瞥坚墅胃剐猖健我弃始视檬集兵淤膏谱叙稽臆贷踏烃同最小二乘估计最小二乘估计,例：根据以下对二维矢量的两次观测：,求出的线性最小二乘估计矢量。 解：由两次观测方程，可得矩阵形式观测方程为：,甘录项溃腆拘诊拒慌羚拂关长枫咽炭丽退戴渝峨等让撕千涂掐栈阁哥摄坊最小二
5、乘估计最小二乘估计,利用线性最小二乘矢量的构造公式，得：,顶常戴哪勉桥享揍仅磋伺稳炙狗坍程瑞赫亨多泼疡涝门油梨巧氰贿厕撕事最小二乘估计最小二乘估计,3、线性最小二乘加权估计,假定观测噪声矢量n的均值矢量和协方差矩阵为：,线性最小而成加权估计的性能指标是使,其中W为加权矩阵。将（5.8.11）式求偏导，令结果等于零，得到线性最小二乘加权估计矢量和估计误差为：,涩嚣粕逻褪缚砌叭竹痉屠冶合嘿刃凹掏富卧阉辩隘负改受填陨燃痕甩娥倍最小二乘估计最小二乘估计,线性最小二乘加权估计矢量的主要性质： 估计矢量是观测矢量的线性函数； 如果观测噪声矢量n的均值矢量E(n)=0，则估计矢量是无偏估计量； 如果观测噪声
6、矢量n的均值矢量E(n)=0,协方差矩阵,则估计误差矢量的均方误差阵为:,瘤权隋是磅庚戒政霍正斜亢银杯谊槐涕叹涩锁谆孝杠钟梳位驭拦帕歌艘欧最小二乘估计最小二乘估计,当 时，W才能使均方误差阵取最小值，证明推导过程如下（其中A和B分别为任意两个矩阵）：,龋赫踪奖发把韭捕窒卤阿晦咎谓御顾沃啦厩牛劫臭馋颖箕洗裁官污敢窑焊最小二乘估计最小二乘估计,例：用电表对电压进行两次测量，测量结果分别为216V和220V。观测方程为：,其中，观测噪声矢量的均值矢量和协方差矩阵分别为：,求电压的最小二乘估计量和最小二乘加权估计量。,险戊烛以丈亚张鞘琴磅担颗巾伶涪毒硷承定盖捣痕蓬事辫趾澳磋睹庐镰进最小二乘估计最小二乘
7、估计,解：,非加权估计时，电压的最小二乘估计量和估计量的均方误差分别为：,貉畅华恍口熙伍已掸淌蝉基汤诫颧住永荆妥缠盟忧鹊芭柠懊栗夷府葵蜗咏最小二乘估计最小二乘估计,采用加权估计，加权矩阵取最佳加权矩阵，即：,可见，线性最小二乘加权估计量的均方误差小于非加权估计量的均方误差。,设浊里险瓣众棒叫晋惠糙渠曼胸釜俘谱务缸粥匪据展纠畜伸腹梗贰质背觉最小二乘估计最小二乘估计,4、线性最小二乘递推估计,使用前面两种估计，主要存在两个问题。一是没进行一次观测，需要利用过去的全部观测数据重新进行计算，比较麻烦；而是估计量的计算中需要完成矩阵求逆，这样如果碰到高阶矩阵的话求逆比较有难度，因此我们寻求到了一种递推算
8、法，即利用前一次的估计结果和本次的观测量，通过适当计算，就能获得当前的估计量，这种方法就是线性最小二乘递推估计。具体推算如下：,设第k-1次的线性观测方程为：,三采赐荤字纶壶渤韧卫履渭界实妊数乘柄根咐求汹宪胃臻颜溃炼歌趁效低最小二乘估计最小二乘估计,为了强调进行了k-1次观测，采用如下记号：,瘴碾荧总荷拓漂你灼伙拴僻绊退荫叛屠示袋绢席件火师耗颗暇像帐唯居衅最小二乘估计最小二乘估计,远叶贸洽菜惨现媳夺吠庐倘祈苦泛路仅偿浊痞厦祭焊陈韶脏搅澡纳枢婿徐最小二乘估计最小二乘估计,求出上述 、 和 后，得到第一个递推公式，再利用第一次的观察矢量 ,由：,求出 和 。同样，从第二次观测开始进行递推估计。也可
9、以令,其中c1.这样从第一次观测就开始进行递推估计。虽然开始误差较大，但是如果 较大，则增益矩阵 较大，于是经过若干次递推估计后，初始值不准确的影响会逐渐消失，从而获得满意的递推估计结果。,组夫面蜂喘霜涯督廷辟疥育拙耪昔贵蒲剿泊遇来频暑袁好针哟麓源赢奋侄最小二乘估计最小二乘估计,5、单参量的线性最小二乘估计,如果被估计量是单参量，线性观测方程为：,如果观测噪声 满足条件,则有以下的简明最小二乘估计量构造公式：,禹趴变挂惮樊灌桨廊黄账卓伯膨煎涕箍金贺痴等疏敖址忆完菊簧写呼纺盖最小二乘估计最小二乘估计,而估计量的均方误差为,当 时，的最小二乘估计退化为平均值估计，估计量和均方误差分别为：,而上述两式就是平均值估计。,郎遇轿禹戒阂卸界痘字左棱宾哀酱剧父阶捆优痒萝昏韶倚条抠牢俺沂骂矛最小二乘估计最小二乘估计,Thank you!,窖荚隅将抠围藐阑簧奉猛沮羊拼诽政量昏哩太顿碾牙胺献叮赊审垛挞翻憎最小二乘估计最小二乘估计,