三章统计信号估计.ppt

《三章统计信号估计.ppt》由会员分享，可在线阅读，更多相关《三章统计信号估计.ppt（111页珍藏版）》请在三一文库上搜索。

1、第三章：统计信号估计,3.1 问题描述 3.2 随机参量的Bayes估计 3.3 ML估计 3.4 估计量的性质 3.5 线性最小均方误差估计 3.6 最小二乘估计,2,3.1 问题描述（信道估计为例）,数字通信数据帧结构 信道估计：根据yP、xP以及hP的统计 信息，估计hP，即： (yP, xP, stat_info(hP)hP （如yP=hPxP+w) 可行性：一般信道都是slowly time varying的（相干时间时延要求），因此hdhp 其他估计问题：载波频率、相位、时延等,3,建模,估计规则,参量空间,观测空间,4,建模,本章的核心问题之一就是研究上述函数的构造方法，评估所构

2、造估计量的优劣。,估计量性能的评估,估计量的均值,估计量的均方误差,5,3.2 随机参量的贝叶斯估计,常用代价函数 贝叶斯估计的概念 最小均方误差估计 最大后验概率估计 条件中值估计 最佳估计的不变性,6,代价函数和贝叶斯估计,误差平方代价函数,误差绝对值代价函数,均匀代价函数,贝叶斯估计：使平均代价最小的一种估计准则。,代价函数的基本特性：非负性和 时的最小性。,7,平均代价,设被估计的单随机变量的先验概率密度函数为,平均代价C为,易知代价函数,在 给定，选定代价函数的条件下，使平均代价最小的估计称为贝叶斯估计。,8,平均代价,由,是非负值，,条件平均代价,9,Relation with c

3、ost in M-ary Detection,估计：参数连续取值；检测：参数取自有限个离散点集合。,10,检测与估计的联系,检测：参量的状态是有限的（M-ary检测） 估计：参量的状态是连续的（比如实数域，复数域） 当M时，检测就变成了估计 用检测做估计：复杂度太高，不合适 用估计做检测：可以，实际上经常这样用 比如，在衰落信道y=hx+w的信号检测中，经常对信号先进行估计得到x的估计值x1（复数域上的任意值），然后将其量化到信号星座上的某个点，即检测值x2。 无线通信中，有时候并不严格区分检测与估计,11,最小均方误差估计,选定的代价函数为,使条件平均代价最小的一个必要条件是对上式中,求偏导

4、,令偏导为零来求得最佳的估计量,求解方法,12,最小均方误差估计,13,最小均方误差估计,注：,1.最小均方误差估计的估计量实际是条件均值,2.最小均方误差估计的条件平均代价实际是条件方差,3.最小均方误差估计量的另一种形式,14,最大后验估计,选定的代价函数为,使条件平均代价最小，应该使 取到最大值,当,很小时，为保证上式最大，应当选择估计量 ，,使它处于后验概率密度函数 最大值的位置。,15,最大后验估计,根据上述分析，得到最大后验概率估计量为,两种等价形式,16,条件中值估计,选定的代价函数为,使条件平均代价最小的一个必要条件是对上式中,求偏导,令偏导为零来求得最佳的估计量,求解方法,1

5、7,条件中值估计,18,例1,研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 是均值为零，方差为 高斯随机变量,求 的贝叶斯估计量(最小均方误差、最大后验和条件中值),19,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量,20,所以最大后验估计量为满足以下方程的解,21,估计量的均方误差为,22,根据最小均方误差估计准则，估计量为,最小均方误差估计,由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量

6、,23,24,25,上述分布是高斯型的，其均值为,估计量的均方误差为,方差为,所以最小均方误差估计量为,26,条件中值估计,估计量的均方误差为,所以条件中值估计量为,由于,27,结论：如果被估计量的后验概率密度函数是高斯型的，在三种典型代价函数下， 使平均代价最小的估计量相同，都等于最小均方误差估计量，估计量的均方误差 都是最小的 最佳估计的不变性。,条件中值估计,最小均方误差估计,最大后验估计,28,例2,研究在加性噪声中单随机参量 的估计问题。,观测方程为,其中n是均值为零，方差为 的独立同分布高斯随机噪声,被估计量 在(-SM,SM)之间均匀分布的随机变量,求 的贝叶斯估计量(最小均方误

7、差和最大后验),29,解：,根据最大后验估计准则，估计量为满足以下方程的解，即,最大后验估计,由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量,30,所以最大后验估计量为满足以下方程的解,31,由于s在(-SM, SM)之间取值，所以,32,根据最小均方误差估计准则，估计量为,最小均方误差估计,33,34,35,3.3 最大似然估计,ML估计：先验等概下的MAP估计 出发点：若先验概率 未知，或者为非随机的未知量，此时MAP不适用。 构造：,36,例1,如果参量的观测方程为 其中nk是均值为零，方差为 的独立同分布高斯随机噪声； 是均值为零，方差为 的高斯变量。求

8、并与 比较,37,38,均方误差,39,40,ML估计的不变性,若 是一对一变换，有 .是一对J(J1)变换，,41,例2,同例1，求 的ML估计,42,由题设，可知，给定 条件下，观测信号xk是均值为 ，方差为 的高斯 随机变量,由于 是 的一对一变换，即是单调函数，因此可得,解：,43,所以最大似然估计量为,由最大似然估计原理，得最大似然估计量为满足以下方程的解。,44,3.4 估计量的性质：无偏性,非随机变量 无偏估计 有偏估计 已知偏差的有偏估计 为无偏估计,45,估计量的性质：无偏性,随机变量 无偏估计 有偏估计 渐近无偏估计,46,有效性,对于被估计量 的任意无偏估计 和 ，若估计

9、的均方误差,则称估计量 比 更有效。,如果 的无偏估计量 小于其他任意无偏估计量的均方误差，则称该估计量为最小均方误差估计量。,问题：能否确定一个均方误差的下界？,47,一致性,则称估计量 是一致收敛的估计量。,假设根据N次观测量构造的估计量为,若,则称估计量 是均方一致收敛的估计量。,若,48,充分性,若被估计量 的估计量为 ，x是观测量。如果以 为参量的似然函数 能够表示为： 则称 为充分估计量。 其中， 是通过 才与x有关的函数，并且以 为参量。 有效估计量必然是充分估计量,49,Cramer-Rao界：非RV,非RV情况：设 是非随机参量 的无偏估计，则有 当且仅当对任意的 和x，均满

10、足 时，不等式取等号。,50,证明,设 是非随机参量 的无偏估计，则有,对上式求偏导， 得,51,证明,上式改写为,52,证明,根据柯西-施瓦滋不等式,当且仅当 时，上式等号成立。,53,证明,等号成立条件,54,证明,克拉美-罗不等式的另一种形式,求偏导,再求一次偏导,55,证明,克拉美-罗不等式的另一种形式,所以,56,Remarks,非随机参量情况下的克拉美-罗不等式的含义和用途,(1) 非随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于,(2) 若非随机参量 的无偏估计量 满足,则估计量的方差 取到最小值，即取到克拉美-罗界。,57,Remarks,(3) 若非随机参量 的无偏

11、估计量 满足,则无偏估计量 是有效的，否则是无效的。,(4) 若非随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,58,Remarks,(5) 若非随机参量 的无偏有效估计量 存在，它必定是 的最大似然估计量 ，且可由最大似然方程解得。,(6) 非随机参量 的最大似然估计量 不一定是无偏有效的。,最大似然估计量为,由,59,均方误差,若非随机参量 的无偏估计量 也是有效的，则其均方误差为,由,60,例1,如果参量 的观测方程为,其中nk是均值为零，方差为 的独立同分布高斯随机噪声，,试讨论估计量 的最大似然估计量 的无偏性、有效 性和一致性。,61,由题设，

12、,由于,62,63,Cramer-Rao界：RV,设 是随机参量 的无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗 不等式,克拉美-罗不等式取等号的条件,64,Remarks,(1) 由于,所以,65,Remarks,(2) 随机参量 的任意无偏估计量 的方差 ，即均方误差恒不小于,(3) 若随机参量 的无偏估计量 满足,则估计量的方差 取到最小值，即取到克拉美-罗界。,66,Remarks,(5) 若随机参量 的无偏估计量 是有效的，则估计量的方差，即均方误差可由克拉美-罗界取得。,(4) 若随机参量 的无偏估计量 满足,则无偏估计量 是有效的，否则是无效的。,67,Rema

13、rks,(6) 若随机参量 的无偏有效估计量 存在，它必定是 的最大后验估计量 。,最大后验估计量为,68,均方误差,若随机参量 的无偏估计量 也是有效的，则其均方误差为,由,69,例2,同例1。试讨论估计量 的贝叶斯估计量 的无偏性、有效性和一致性。,70,由题设，,由于,71,由于,72,73,非随机参量函数的CRLB,设 非随机参量 的函数 ，其估计量 是 的任意无偏估计，则有,或,当且仅当 时，上述两式取等号。,克拉美-罗 不等式,克拉美-罗不等式取等号的条件,74,例3,同例1。 求 的无偏性和有效性，并求估计的均方误差。,75,解,由于,易知,根据最大似然估计的不变性，得到,76,

14、77,3.5 LMMSE估计,Model MMSE、MAP估计：需要后验概率信息 ML估计：需要先验概率信息 若仅已知前二阶距信息：观测信号和被估计随机矢量的均值矢量、协方差矩阵和互协方差矩阵。 -采用LMMSE估计,78,LMMSE估计准则,线性最小均方误差估计准则 首先，构造的估计矢量 是观测矢量x的线性函数，即： 同时要求估计矢量的均方误差最小，即为 最小，式中 表示矩阵的迹。 所以，线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,79,LMMSE估计构造,令,80,LMMSE估计构造,81,LMMSE估计构造,Lemma,82,LMM

15、SE估计构造,注意到,83,LMMSE估计构造,解得,所以,84,LMMSE估计的物理解释,均值（先验）,新息（观测提供的信息）,观测量的信息,参量的信息,85,LMMSE估计的性质,(1) 估计矢量是观测矢量的线性函数,(2) 线性最小均方误差估计矢量是无偏估计,86,LMMSE估计的性质,(3)估计的误差矢量与观测矢量的正交性,被估计矢量,与观测矢量x是正交的，即,与线性最小均方误差估计矢量 之间的误差矢量,87,LMMSE估计的性质,88,LMMSE估计的性质,(4)最小均方误差估计与线性最小均方误差估计的关系,当观测矢量与被估计矢量是联合高斯分布时，最小均方误差估计与线性最小均方误差估

16、计两者相同,随机矢量的最小均方误差估计矢量可以是观测矢量的非线性函数，而线性最小均方误差估计的估计矢量一定是观测矢量的线性函数。,89,例,设M维被估计随机矢量的均值矢量和协方差矩阵分别为 和 ， 观测方程为,求 的线性最小均方误差估计矢量 和估计矢量的均方误差阵,且已知,解：,由,90,91,92,92,的线性函数 的线性MMSE估计矢量 为：,线性变换上的可转换性,的线性MMSE估计矢量为,证明：,随机矢量函数的线性最小均方误差估计,93,93,线性变换上的可转换性,无偏性：,均方误差阵：,的线性函数 的线性MMSE估计矢量 为：,随机矢量函数的线性最小均方误差估计,94,线性MMSE估计

17、的可叠加性,随机矢量函数的线性最小均方误差估计,95,线性MMSE估计的可叠加性可以推广到任意有限L个同维矢量的情况,若 是随机矢量 的线性MMSE估计矢量，则,线性MMSE估计矢量为,随机矢量函数的线性最小均方误差估计,96,3.6 最小二乘估计,不需要任何先验信息，只需知道关于被估计量的观测信号模型 系统模型 被估计量的信号模型 误差平方和最小,97,线性最小二乘估计,系统模型 最小二乘估计误差,98,估计量的构造,99,线性最小二乘估计误差,100,估计量的性质,估计矢量是观测矢量的线性函数 若噪声矢量均值为0，LLS估计是无偏估计,101,均方误差矩阵,102,例1,103,解,104

18、,加权估计,给观测噪声较小的观测量以较大的权值，以提高估计的精度 加权矩阵W：对称正定矩阵 二乘加权估计误差 最小二乘加权估计,105,估计量的构造,106,估计量的性质,估计矢量是观测矢量的线性函数 若噪声矢量均值为0，LLS估计是无偏估计 均方误差矩阵,107,最佳加权矩阵的设计,Lemma：设A和B分别是M*N和N*K的任意两个矩阵,且AAT的逆矩阵存在，则有矩阵不等式 令 有 因此,108,例2,求 解：,109,非线性最小二乘估计,参量变换方法,110,非线性最小二乘估计,参量分离方法 一般模型： 目标：使得下式最小 算法：对于给定的 ，计算使上式达到最小的 此时的估计误差为 然后选择 使得上式最小,111,作业3,信道估计问题（Slide 2） Rayleigh, slow fading channel y=hx+w 1）分别采用LMMSE估计和LS估计时，给出MSE随长度P的变化曲线。 2）分别采用LMMSE估计和LS估计时，给出BER随信道估计负载比(P/N）的变化曲线。（不同负载比情况下仍要求每帧传输速率相同）,