第五章基本自适应算法.ppt

《第五章基本自适应算法.ppt》由会员分享，可在线阅读，更多相关《第五章基本自适应算法.ppt（95页珍藏版）》请在三一文库上搜索。

1、河南工业大学,第五章 基本自适应算法,5.1LMS算法 5.2RLS算法,逃金峪男锑诚婉寄耀辅挝猩莫茶蘑盼竞屁膀磨希蒋湖陈檀央申佣眺疥隅走第五章基本自适应算法第五章基本自适应算法,5.1 LMS算法,第低欢尽劝荤缔兑扳簿锋抑靠京配伐陛稗奄餐扬诽铆揣雾伪肃牌巫滁一卖第五章基本自适应算法第五章基本自适应算法,河南工业大学,下图所示为自适应横向滤波器的结构及其功能： （1）具有可调节抽头权系数的横向滤波器，权系数 ，表示在n时刻的值。 （2）在自适应状态能调节这些权系数的机理过程。这个过程首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟线抽头上的信号来产生输出信号，将输出信号与期望信

2、号进行对比，所得的误差值通过一定的自适应控制算法再用来调节权值以保证滤波器处在最佳状态，达到实现滤波的目的。,5.1.1最陡下降法,锥滔尚巳勺吕婆哺辜戒筑矫蹿院末日炯赂邻婪道努烦衙酿妥甄轧永浚惹栽第五章基本自适应算法第五章基本自适应算法,河南工业大学,嘱止灶雄要擒露恩斡无剑熔课京古慑例祷钢箩爆甜痘胚短骇晒幅涣由落课第五章基本自适应算法第五章基本自适应算法,河南工业大学,显然，输出信号y(n)是 (5-1) e(n)=d(n)-y(n) (5-2) 自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数 进行调节的，最终使代价函数最小化，达最佳滤波状态. 按照均方误差（MSE）准则所

3、定义的目标函数为： F(e(n)=(n)=E(e(n)=Ed(n)-2d(n)y(n)+y(n) (5-3),埋雇臭顺敞榷疥陋肘臻嫡钞洗最刷妇投拷拨呛桅滓牲妊雨描羡锦熄梭禹魔第五章基本自适应算法第五章基本自适应算法,河南工业大学,综合前面几个式子目标函数可以写成 (n)=Ed(n)-2Ed(n)wT(n)x(n) +EwT(n) x(n) xT(n)w(n) (5-4) 当滤波系数固定时，目标函数又可写成： (n)= =d(n)-2wTP+wTRw (5-5) 可见，自适应滤波器的目标函数是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R和矢量P已知时，可以由权系数矢量w直接求其解。,医锚

4、喇蝉崔拽蒲捻峭昨盘努油劈俱窥坯死醚寸妥森群焦乞蝗沿牌厦给权湃第五章基本自适应算法第五章基本自适应算法,河南工业大学,令 代表n时刻的M*1维度矢量，M为滤波器系数的数目，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+1)可以用下列简单递归关系来计算 w (n+1）= w(n）+1/2- (5-6) 其中是一个正实数，通常称它为收敛因子或步长，n为迭代次数,为梯度矢量. 根据梯度矢量定义，(n)可以写成 (5-7),互泡邪建镜符哑内倒佬历代拷偏徊缔驳抑歪疗糯槽勒婆亿下盛捉罩寡榷媳第五章基本自适应算法第五章基本自适应算法,河南

5、工业大学,当系数为最佳值 ,即是维纳解,梯度矢量应等于零即： Ee(n)x(n)=0 (5-8) 则误差性能函数的梯度向量为： =2RW(n)-2P (5-9) 权值迭代算法的基本表达式为： w(n+1)= w(n)+P-RW(n) (5-10) 在MMSE准则下最陡下降算法稳定收敛的充分必要条件为: 0 2/max 式中max 为相关矩阵R的最大特征值.,秤在砒姨小状酉棚捅灌筷驻赣杀柳辖荔膨墅样慰胚标潦扒仙撰暇企俊会棒第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.1.2最小均方(LMS)算法,1、LMS算法的基本原理 最小均方（LMS）自适应算法就是一种以期望响应和滤波输出信号

6、之间误差的均方值最小为准的，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。 1960年美国斯坦福大学的Widrow等提出了最小均方（LMS）算法，这是一种用瞬时值估计梯度矢量的方法. (5-11),膏孝粥逢浇鸳咕笆床叮德冀吹缄骑骚驾侣灼昧埂瘁枫卜淫垣毗婉拘枣酒赶第五章基本自适应算法第五章基本自适应算法,河南工业大学,2、 LMS算法的公式 按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以写出： (5-12) 把前面所推关系式代入

7、式(5-11)得： (5-13),蜀钨逸箩添袭管磁锭咱沼啪载巴逆纂馅绷胀慷玫夸肛蠕垦羌米偏妓撕绳饵第五章基本自适应算法第五章基本自适应算法,河南工业大学,3、 LMS算法原理框图,图LMS算法原理流图,邀拒辱玲肃朵淀淳缀猖掂降谗拔汐俏鄙痈裹窜馋软溜盅灸宦员携拳凄望宰第五章基本自适应算法第五章基本自适应算法,河南工业大学,4、LMS算法的计算步骤如下： 我们利用时间n=0的滤波系数矢量为任意的起始值W(0)，然后开始。 (1)由现在时刻n的滤波器滤波系数矢量估值 ，输入信号矢量x(n)以及期望信号d(n),计算误差信号： (5-14) (2)利用递归法计算滤波器系数矢量的更新估值： (5-15)

8、 (3)将时间指数n增加1，回到步骤(1)，重复上述计算步骤，一直到达稳态为止.由此可见,LMS算法简单，它既不要计算输入信号的相关函数，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量瞬时估计，它有大的方差，以致不能获得最优滤波性能。,赤抒择病渡辗惨隙招灯懈乞儒色朗营埃顽豆切蓟肺贺畅搅投研物挫闯果卿第五章基本自适应算法第五章基本自适应算法,河南工业大学,5、LMS算法的性能分析 一、自适应收敛性 自适应滤波器系数矢量的起始值w(0)是任意常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程，通常为了简化LMS算法的统计分析，往往假设算法连续迭代

9、之间存在以下的充分条件： （1）每个输入信号样本矢量x(n)与其过去全部样本矢量x(k),k=0,1,2,n-1是统计独立的，不相关的，即： Ex(n)xH(K)=0; k=0,1,2,n-1 (5-16),蓬攻悉册攒秤钵龋捎围踢合忽擅杜郝颂丈兢冀护汲恋违法柒芬绑奇象泪乓第五章基本自适应算法第五章基本自适应算法,河南工业大学,（2）每个输入信号样本矢量x(n)与全部过去的期望信号d(k) k=0,1,2,n-1也是统计独立且不相关的，即： Ex(n)d(k)=0; k=0,1,2,n-1 (5-17) （3）期望样本信号d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立

10、的. （4）滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量.,票墩姑塌什术瓷垃牌沼栓肠揣瘁掺嗣青吨伏菇膘毒详十孩闽错次唱涟过予第五章基本自适应算法第五章基本自适应算法,河南工业大学,由前面的计讨论可知，自适应滤波器在n+1时刻的滤波系数矢量 依赖于三个输入： （1）输入过程的过去样本矢量x(k), k=n,n-1,0; （2）期望信号的以前样本值d(k), k=n,n-1,0; （3）滤波系数矢量的起始值 . 现在将系数误差矢量w(n）代入式(5-15)得 (5-18) 式中wo是最佳滤波系数矢量， w(n）是误差矢量即w(n）=w(n)- w0,惧沿床授

11、柑相涧播地法炎栋篓于荷再碾砚静政砾洛屠盼叔晚乃碎漆单讥倦第五章基本自适应算法第五章基本自适应算法,河南工业大学,如将W0移至等式左边，则 等于系数误差矢量的更新值，于是式(5-18)可写成 (5-19) 对式(5-19)两边取数学期望，得到 (5-20) LMS算法与前述最陡下降算法有相同的精确数学表达式。,慕际吼兆递敏躁嚎傈坤块洪漆莽末宝云邢碌尤谗翁降平熏魏岂炬庇易倔拨第五章基本自适应算法第五章基本自适应算法,河南工业大学,因些，要使LMS算法收敛于均值，必须使步长参数满足下列条件： 0 2/max (5-21) max是相关矩阵R的最大特征值。在此条件下，迭代计算次数n接近无穷大时，自适应

12、滤波系数矢量w(n)近似等于最佳维纳解w0。,巧紫祖也楚滞半谅挡蛊疥氓唉六窘膊毅阴工鸡赫吨吁透逞卤赊添争镊谨央第五章基本自适应算法第五章基本自适应算法,河南工业大学,二、平均MSE-学习曲线 如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0,这时滤波器均方误差（MSE）为最小. LMS算法用瞬时值估计梯度存在误差的噪声估计，结果使滤波器权矢量估值只能近似于最佳维纳解，这意味着滤波均方误差(n)随着迭代次数n的增加而出现小波动地减小，最后()不是等于而是稍大于其值 。如下图所示，步长参数选用的越小，则噪化指数衰减曲线上的波动

13、幅度将越小，即学习曲线的平滑度越好.,贞燃沼穿冶甸萨冬汲佯音频驻旨牌土湍瑟皇荚柯继您浮文黔猖榨古剪祁仆第五章基本自适应算法第五章基本自适应算法,河南工业大学,对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长和同等的起始系数矢量w(0),并从同一统计群体随机地选取各个平稳的各态历经（遍历性）的输入信号，由此计算自,减绥颤叼侯醛窖羹典阁灸号栋纲服泌祖凛豌层档酵献宁畴俏恬代山泅斡晒第五章基本自适应算法第五章基本自适应算法,河南工业大学,适应滤波器总体平均学习曲线，如下图所示，这是一个平滑的总体平均学习曲线，通常它是由50到200个单独LMS算法的结果加以平均而得到的，显然，我们可以

14、用E(n)表示的平均LMS来描述LMS算法的动态性质.,陵倍户洋咏孪签踏腰暖胸绘霖姻等滓巷板札题配归潘庐撕操计蜀慕香给吞第五章基本自适应算法第五章基本自适应算法,河南工业大学,三、失调 在自适应滤波器中，失调(Misadjustment) 是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ex()与最小均方误差min 之比，即 (5-22) 证明可知： (1)失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%； (2)失调是随滤波系数数目线性增加的； (3)失调可以做得任意小，只要选用大的时间常数，

15、也就是小的步长值即可。,肌粗仓谷裳彤标茸识那愧袁氏笆蛋仲僻蛾馒砸漂殉贷择塔挂狈呀除宰齐晃第五章基本自适应算法第五章基本自适应算法,河南工业大学,但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。,腊悟浆啃戚弄焚炯料健喷蘸儿垛峦凝公巷撇碘恤棠乐壕健咐体监肝膛粥暴第五章基本自适应算法第五章基本自适应算法,5.2 RLS算法,飘汽深村键夜枫般钳同丈瓶桂宋绷昼伊牲葵贵友甫孔磁撞扒舶骗品完帝他第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.2.1

16、预备知识 5.2.2 矩阵求逆引理 5.2.3 指数加权递归最小二乘算法 5.2.4 正则化参数的选择 5.2.5 误差平方加权和的更新递归,蔼里常价则骨秆辙图娘秸提舷蜡故凸懈奔逗贱幽貌债驭绩别瘩人夸必砂客第五章基本自适应算法第五章基本自适应算法,河南工业大学,在本节中，我们将推广最小二乘的应用，以便推出一种设计自适应横向滤波器的递归算法。即给定n-1次迭代滤波器抽头权向量最小二乘估计，依据新到达的数据计算n次迭代权向量的最新估计。我们把这一算法称为递归最小二乘（RLS，recursive least-squares）算法（滤波器）。,袋躯罗锰籽蛀惭无屏询栗蝶韶犹逛煎住阐弃禽茸抑赞矿峙盎挤车眼

17、襟微够第五章基本自适应算法第五章基本自适应算法,河南工业大学,在RLS 滤波器的推进过程中，我们首先回顾最小二乘法的一些基本关系式。然后，应用矩阵代数中矩阵求逆引理所揭示的关系，导出RLS滤波器。 RLS滤波器的一个重要特点是，它的收敛速率比一般的LMS滤波器快一个数量级。这是因为RLS滤波器通过利用数据相关矩阵之逆，对输入数据（假定这些数据的均值为零）进行了白化处理。然而，性能的改善以RLS滤波器计算复杂性的增加为代价。,苟枝蚂蹿未蓬仓颤涪酿摔犁诊跌茹迂局洁死蜡磺墨斯陡泼淑呐遣械篡时爪第五章基本自适应算法第五章基本自适应算法,河南工业大学,在最小二乘的递归实现中，我们从给定的初始条件出发，通

18、过应用新的数据样本值中所包含的信息对旧的估计值进行更新。因此我们发现，可测数据的长度是可变的。因而，把待最小化的代价函数表示为(n)，其中n是可测数据的可变长度。另外，习惯上还在(n)的定义中引入加权因子。于是，可以写出 (5-23) 其中e(i)是期望d(i)与i时刻抽头输入为 的横向滤波器输出y(i)之差，如下图5-所示。,5.2.1 预备知识,u(i),u(i-1),u(i-M+1),见峦鼓或橇坪慕侧鼠靖杯阐庄姨胳矛捞湘镶安踌栋丫市妒蛛墟背有莽念孰第五章基本自适应算法第五章基本自适应算法,河南工业大学,图5-5具有时变抽头权值的横向滤波器,即,(5-2),疑学目狱冶范瞩催拿婚砚坚霖鸦氟烁

19、睹计仑嘴劈哲旗庚款飘朋寨蛋渗纶硝第五章基本自适应算法第五章基本自适应算法,河南工业大学,其中u(i)是i 时刻的抽头输入向量，定义为 (5-25) 式中w(n)是n时刻抽头权向量，定义为 (5-26) 注意，在代价函数定义的观测区间i n内，横向滤波器的抽头权值保持不变 式（5-23）中的加权因子 满足如下关系 i=1,2,n,螟操卿个克跪梧弟抉用坑袒怜唤芝绝袱弟哇窟冗唯骚克薄期糖柠鸽渡刘湛第五章基本自适应算法第五章基本自适应算法,河南工业大学,一般说来，加权因子 的使用是为了保证“遗忘”掉久远的过去数据，以便当滤波器工作在非平稳时，能跟踪观测数据的统计变化。通常所用的加权因子是指数加权因子，

20、或所谓遗忘因子,定义为 (5-27) 式中是一个接近1，但又小于1的正常数。当=1时,对应一般的最小二乘法。粗略地说，1-的倒数可以用来衡量算法的记忆能力；而=1的特殊情况，则应对于无限记忆。,i=1,2,n,布叔畔枣露弯诬陕晤蝴描鸽牟六蔓稿躺傲类沼错滴孰分俄僳升丫瞅噶阐恍第五章基本自适应算法第五章基本自适应算法,河南工业大学,正则化,最小二乘估计和最小二乘法一样，是一个病态的求逆问题。在该问题中，给定构成抽头输入向量u(n)的输入数据和相应的期望响应d(n)（其中n是变量），要求估计出多重回归模型中的未知向量，该向量与d(n) 和u(n)有关 最小二乘估计的病态特性源于以下原因： 输入数据中

21、的信息不足以唯一地构建输入输出间的映射关系。 在输入数据中不可以避免地存在着噪声或不精确性，这为构建输入输出映射关系增加了不确定性。,阿卓苫诈渝亦儒典醉宪毁冲氢河伦颅妮密橡阵邑条蛋搪臀镜愤盖院网扒瓤第五章基本自适应算法第五章基本自适应算法,河南工业大学,为使估计问题变为非病态，需要某种与输入输出映射关系有关的先验信息。这意味着必须扩展代价函数公式，使其能考虑先验信息。 为满足这一需要，我们把待最小化的代价函数扩展为两部分之和 (5-28) （这里假设使用了预加窗）代价函数的两个分量如下： 1）误差加权平方和 (5-29),轰迭盒债增吴映壬昨旋垢烛困桃储宜制汕板炊拼蓟友佩示诈溶场位挪掀滨第五章基

22、本自适应算法第五章基本自适应算法,河南工业大学,它与输入数据有关。这个分量反映出期望响应d(i)与滤波器实际响应y(i)之间的指数加权误差，且y(i) 与抽头输入向量u(i)的关系可用公式表示为,2)正则化项,式中 是一个正实数，称为正则化参数除了因子外，正则化项只取决于抽头权向w(n).将这一项包含在代价函数中，以便通过平滑作用来稳定递归最小二乘问题的解。,(5-30),(5-31),苯臀瞥篮凶立粥瞩琵译抽芽架慑拂涟肚关膝短赃氦辅博驾伸鸥泻虑而凄初第五章基本自适应算法第五章基本自适应算法,河南工业大学,从严格意义上说， 项是正则化的近似形式。 原因有两个: (1)首先指数加权因子介于01之间

23、；从而，当1时， 随着n的增大趋于零。这意味着时间的推移， 项对代价函数的影响会逐渐减小（即逐渐被遗忘）。 (2) 正则化项应是 形式，其中 是由RLS滤波器实现的输入输出映射关系，D是差分算子。式(5-28)的正则化项通常用在RLS滤波器设计中。,岛延聊聪哑忧捻炊圃酪惠慎屈的佣远敲御寡竖女脂厩无基劲赫认慎痔规荣第五章基本自适应算法第五章基本自适应算法,河南工业大学,正则方程的变形,将式 (5-28) 展开并进行整理，我们发现，在代价函数 中增加正则化项 ，相当于将抽头输入向量u(i)的MM时间平均相关矩阵表示为,式中I是 MM单位阵。容易发现，增加正则化项还有这样的作用：它使得相关矩阵(n)

24、在从n=0开始的整个计算过程中非奇异。将上式修正为相关矩阵的过程叫做对角加载。,(5-32),棉循员爪犹篆市票竿厨音郑推季撇屉拿摄擒瞳战奠莆循鹃洪梳唾穗啃裔免第五章基本自适应算法第五章基本自适应算法,河南工业大学,横向滤波器抽头输入与期望响应之间的M时间平均互相关向量z(n)为,它将不受正则化的影响，此处依然假定使用预加窗法。根据前面讨论过的最小二乘法，可使用代价函数获得最小值的最优M抽头权向量 由正则方程定义。递归最小二乘问题的正则方程可用矩阵形式写为： 这里的(n)和z(n)分别由式 (5-32) 和式 (5-33) 决定。,(5-33),(5-34),未燃玉钦忘滓伟潞票针曾碉桑瓣悍构惺甭

25、矣貉枫编滩岩将这豌物搽蜀秧枷第五章基本自适应算法第五章基本自适应算法,河南工业大学,将对应于i=n的项与式(5-32)右边的求和项分开，可写出 根据定义，上式右边括号内的表达式等于相关矩阵(n-1)。于是，可得用于更新抽头输入相关矩阵的递归公式 其中(n-1)是相关矩阵的过去值，矩阵乘积 在更新过程中起着“修正”项的作用。注意，上式的递归过程与初始条件无关。,(n)和z(n)的递归算法,(5-35),(5-36),湾涂但坤帐鹊油凳肺庐辉弄蚀户移嗣坑拯烈来条渭吃肇识柿颈烦篙树欣兑第五章基本自适应算法第五章基本自适应算法,河南工业大学,类似地，可以导出抽头输入与期望响应之间互相关向量的更新公式,为

26、了按式(5-32)计算抽头权向量 的最小二乘估计，必须确定相关矩阵(n)的逆。然而在实际中，我们通常尽量避免这样做，因为这种运算非常耗时，特别是当抽头数M很大时。另外，我们希望能够递归计算n=1,2,时抽头权向量 的最小二乘估计。我们发现，利用矩阵代数中矩阵求逆引理，可以实现上述两个目标。,(5-37),胃新暖稗掣疗味艾恒垒涂岸界想椅磕头棚妥残涪邯碗傈梢涩杂仙官瓣康馅第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.2.2 矩阵求逆引理,设A和B是两个MM正定阵，它们之间的关系为 其中，D是NM正定阵，C是MN矩阵。根据矩阵求逆引理，可将A的逆矩阵表示为 该引理在此不做证明，书中有介

27、绍。在下一节，我们将说明怎样应用矩阵求逆引理，得到计算抽头权向量 最小二乘解的递归公式。,(5-38),(5-39),谣艘吮酷甚冷馋迷届读押鲁联痊腔叠罐贯呆凰蝶芒川究此磷彩献俏池坪绰第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.2.3 指数加权递归最小二乘算法,假定相关矩阵(n)是非奇异的，因而它可逆。我们对式 (5-36) 所表示的递归方程应用矩阵求逆引理，首先做如下设定,稳萌孰潦你蛤仙趁突艾颜贞舆耻锈域椰贯曲士啊擦滚习冷鸦糊牡娩毗天深第五章基本自适应算法第五章基本自适应算法,河南工业大学,然后，将这些定义代入矩阵求逆引理，可得计算相关矩阵逆阵的递归方程如下 为了方便计算，令

28、和,(5-40),(5-41),(5-42),牙班菲想舍搭觅劈喻躬沿闰龋阁擂鹊慷孽荧帧榨手俞腆吨搓朴椎童舶扶奎第五章基本自适应算法第五章基本自适应算法,河南工业大学,用上面的定义，可将式(5-40)改写为 MM矩阵P(n)叫做逆相关矩阵， M1向量K(n)叫做增益向量，后面将会解释这样叫的原因。式(5-43)是RLS算法的Riccati 方程。整理K(n)表达式 ，可得,(5-43),(5-44),搀潞耻抽侄峨栅昨祭甜棚署购舵膘校梳摹顾嫌昧牙静尖动荫赣炼岗邦吕彤第五章基本自适应算法第五章基本自适应算法,河南工业大学,换句话说，增益向量K(n)可以定义为经相关矩阵(n)逆矩阵变换的抽头输入向量u

29、(n).,这一结论，连同 可以用来定义增益向量,我们可以将上式简化为 K(n)=P(n)u(n),(5-45),(5-46),拉捶劈笋瓢境翱搂滞启怔协汉宪历帛柔苑拨冻垄护范铬蝶瑶勿柑件赘伐临第五章基本自适应算法第五章基本自适应算法,河南工业大学,抽头权向量的时间更新,下面，我们要导出更新抽头权向量最小二乘估计 的递归公式。为此，用式(5-32)、式 (5-37)、式 (5-41)来表示抽头权向量n次迭代时的最小二乘估计,(5-47),将式(5-47)右边第一项中P(n)用式(5-43)代替，可得,吵强婪镑寄厉赎眨濒锰揣胯盟乍初叭氢正甚悯著伺梁幸柄附汽茫蓄漾践亚第五章基本自适应算法第五章基本自适

30、应算法,河南工业大学,最后，应用P(n)u(n)等于增益向量K(n)，可得更新抽头向量的递归方程为,(5-48),(5-49),峻禁漾刊蕾谋傀即势艾蒜役各奉灿洽郴八震拴痞喳戮身能荐凿瓦点析险打第五章基本自适应算法第五章基本自适应算法,河南工业大学,其中,是一个先验估计误差。內积 表示基于n-1时刻抽头权向量最小二乘估计旧值的期望响应d(n)的估值。 根据调整抽头权向量的表达式和表示先验估计误差的表达式可用图5-6 (a)所示的框图表示递归最小二乘算法。,(5-50),跋畅煮喉眺欺婿遏好既贯趁坡级酬饥郑蛀拐衍鞠贰丢业膨汕贯删冷袍皮跳第五章基本自适应算法第五章基本自适应算法,河南工业大学,一般说来

31、，先验估计误差(n)不同于下式(5-51)的后验估计误差 其计算设计抽头权向量在时刻n（当前时刻）的最小二乘估计。实际上，我们可以将(n)视为更新抽头权向量之前e(n)的暂时值。但要注意的是，在导出式(5-49)递归算法的最小二乘优化问题中，我们实际上是基于e(n)而不是基于(n)使代价函数(n)最小。,(5-51),扔书沾输赔叉茅杆锚说钓虾枯蒲暗晨喂扣俩豪各釉甚丫末邓鞠镶纹烤十探第五章基本自适应算法第五章基本自适应算法,河南工业大学,输出,RLS算法,+,-,候缉秤涧肛擂痈题荡掣蛛孜烬漏邱势搪弘纂周云席佃驰缝索憋煌与惟哺寐第五章基本自适应算法第五章基本自适应算法,河南工业大学,RLS算法小结

32、,式(5-42) ,(5-43), (5-49), (5-50)组成了RLS算法，并在表(5-1)中总结。特别要注意的是，式(5-50)表述了该算法的滤波过程，据此激励横向滤波器以计算先验估计误差(n) 。式(5-49) 描述了算法的自适应过程，据此可通过在其过去值的基础上增加一个量来递推抽头权向量，该量等于先验估计误差(n)复共轭与时变增益向量K(n)的乘积(“增益向量”由此得名)。,蠕侄俗芭崖暗岸晌蟹镑耻趾裸谣帖师缸睁召渗虫叁米视熙萌店庚外锡帖蓑第五章基本自适应算法第五章基本自适应算法,河南工业大学,式(5-42) ,(5-43),使得我们能够更新增益向量本身。上述RLS算法的一个重要特点

33、是，每一次迭代中的相关矩阵(n)的逆矩阵为简单的标量相除所代替。图 (5-6a) 给出RLS算法的框图，图 (5-6b)则是RLS算法的信号流图。,表1 RLS算法小结,算法初始化,浴找遵嘶顾街钻局羽躁剁爵搽源瞅妻陨弓阎苫雌守娩莽啦付姐钒师鲁跋改第五章基本自适应算法第五章基本自适应算法,河南工业大学,表1续,塌兹讳诺颧蚜包萧笨豁赂允菌陡艳斧茬加嵌工交效阵珠则张笋郎闭沉平窥第五章基本自适应算法第五章基本自适应算法,河南工业大学,注意，在表1的总结中，增益向量K(n)的计算分两步进行： 首先，计算用 表示的中间量。 第二，用 计算K(n) 从有限精度运算的角度看，分两步计算K(n)比直接用式(5-

34、25)计算K(n)更可取。 为对RLS滤波器进行初始化，需要指定两个量： 初始权向量 。习惯上令 。 初始相关矩阵(n)。令式(5-8)中的n=0，如果使用预加窗，可以得到 其中是正则化参数。参数的设定与信噪比有关，高信噪比时取小值；低信噪比时则取较大值。这样做的合理性可以在正则化的意义得到证明。,义还使检掣虏榴奈啄禁填链紧模掉氓域复茹摧飘簧康庄操景智海户躁突蚀第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.2.4 正则化参数的选择,在Moustakides的详细研究(1997)中，评价了在平稳环境下RLS算法的收敛性能， 它有两个特殊的可变参数： 抽头输入数据的信噪比(SNR)，

35、这个量由流行的运行条件决定。 正则化参数，它由设计人员控制。,先蛔式雍烩涝拧鞋永衷木澄缺砸峡雍猫庶杖蔫酞庸扳眉弘忧极颂届滞柯名第五章基本自适应算法第五章基本自适应算法,河南工业大学,为了总结Moustakides研究成果的实验条件，用F(x)表示一个关于x的矩阵函数，用f(x)表示一个关于x的非负标量函数。其中，变量x属于集合。于是，我们可引入如下定义 F(x)=(f),(5-52),超吭座辨拉撵义直咱枣纺倚曾变憋癣逾肋乱凿炭弓写豪肿章牵淬后搔掷套第五章基本自适应算法第五章基本自适应算法,河南工业大学,檄菜撅吠写腥令闽粟湖廖峙坎森陇久洒麦嗓杖热谦换毙鸡详诚啪粪舶甫瓣第五章基本自适应算法第五章基

36、本自适应算法,河南工业大学,宜醒举恨孙竣羽唱董信鹤猾慨他骤冈快猴滦典檄锤葱览躯皑观藕夺档越索第五章基本自适应算法第五章基本自适应算法,河南工业大学,瑞醛枪赊砖全拢绑吐傀萎奸糊赎亏邢虏晒涌尉铰钞比挟烁迷葬锻硼匈瑞骇第五章基本自适应算法第五章基本自适应算法,河南工业大学,有了这些定义和三种不同的初始条件，我们可以总结出式(5-35)支配下RLS算法初始化过程中有关正则化参数的选择方法(moustakides,1997)如下： 1）高信噪比：当抽头输入噪声电平低（即输入SNR较高，如30dB或更高数量级）时，RLS算法呈现指数级的快速收敛率，只要相关矩阵以足够小的范数初始化。典型地，通过设定=1来满

37、足这个要求。随着减小到零即随着(0)的矩阵范数增加，RLS算法的收敛性会变差。,猾驶犁着颧势帛婉费喘凉氰悲踏寞涛常吟窝网酣震辫琅贷括彤桑孽焊柄运第五章基本自适应算法第五章基本自适应算法,河南工业大学,2）中等信噪比：在中等SNR环境下（即输入SNR为10dB数量级时），RLS算法的收敛速率比高信噪比情况下的最佳收敛速率要差。但是RLS算法的收敛特性对-10范围内矩阵(0)范数的变化不敏感。,睛顷糙寄沮玛假讹渍储奴贼钱镭塞撂史君屑靴涎歇养闺纪陌也狗碘个镐闻第五章基本自适应算法第五章基本自适应算法,河南工业大学,3）低信噪比：最后一点，当抽头输入的噪声电平较高（即输入信噪比SNR为-10dB数量级

38、或更低）时，用具有较大矩阵范数的相关矩阵(0)对RLS算法初始化（即 -1）更可取，因为这种条件可以产生最好的全局性能。,颈激活催媳衣兼凸途赵蛙旺匡狂何泳废灭屡郴溢贾汉剃二匿奥啼谅商粮兰第五章基本自适应算法第五章基本自适应算法,河南工业大学,这些结论对平稳环境或慢时变环境成立。但是，如果环境状态突变，而且这一变化发生在RLS滤波器达到稳态时，则该滤波器就会将这一突变视为用较大的(0)进行新一轮的初始化，这里的n=0对应于环境突变的那个瞬间。在这种情况下，最好停止RLS滤波器的工作，改用一个较小的(0)进行初始化而重新开始新一轮的迭代。,贰揣贡扳围耿柬鞭在划凉俏矮熏厨穴吻燥斜努骂漓侄绽稍柏累征累

39、铂襟穷第五章基本自适应算法第五章基本自适应算法,河南工业大学,5.2.5 误差平方加权和的更新递归,当抽头权向量等于其最小二乘估计 时，误差平方加权和可达到最小值 .,为计算 ，可用关系式,(5-60),其中 定义(使用本章的表示)为,(5-61),徽凤呼欣皋塔桨谁第撕职活祥廓屋亿健讳瞅呕凡穆抒亢诵巾骗浆郝蔽骡亲第五章基本自适应算法第五章基本自适应算法,河南工业大学,(5-62),上式最后一项中的z(n)已被还原为原来的形式。根据定义，式(5-62)右边第一个括号中的表达式等于 。另外，根据定义，第二个括号中的表达式等于先验误差 (n)的复共轭。,因此，将式(5-37) (5-49) 和式(5

40、-61)代入式(5-60)，得,楔煽欲惫称酬戍定慨婪激驳睡落绚形趋咆拨夸娄桶痹戮符蠢涣洪鄙叔目隶第五章基本自适应算法第五章基本自适应算法,河南工业大学,上式中，第二行应用了相关矩阵(n)的埃尔米特性质，在第三行用到了 等于最小二乘估计 .,对最后一项，我们用增益向量K(n)的定义来表示内积.,逾收欠涂杠赎宠柯拣硝世汲恭瞄瓷黑芳屉缠帽馏般鼻臭湿影探陶刻佳吸戈第五章基本自适应算法第五章基本自适应算法,河南工业大学,其中e(n)是后验估计误差。式(5-63)是更新误差加权平方和的递归公式。由此可见，(n)的复共轭与e(n)的乘积表示更新过程中的修正项。注意，该乘积是实数，这意味着，总有,(5-64)

41、,(5-63),因此，式(5-62)可化简为,秦锋恐翱毋细剪冬水尿瘴父申栖肋腑柔扑句咱贞侵脾颅阂泵凶传盔弛芭冤第五章基本自适应算法第五章基本自适应算法,河南工业大学,收敛因子,式(5-63)涉及两种不同的估计误差：先验估计误差(n)和后验估计误差e(n)，它们之间有着本质的联系。为了建立这种估计误差之间的联系，可从式(5-51)的定义出发，将式(5-49)代入(5-51)，得,(5-65),妮邵间锡铬援暂塑忌倔娠渐铺采冉仍椅谗筐性违钓庶告固甲挨逻甲柴煽诀第五章基本自适应算法第五章基本自适应算法,河南工业大学,上式中的最后一行，应用了式(5-50)的定义。后验估计误差e(n)与先验估计误差(n)

42、 的比值称为收敛因子，记为r(n)。因此，可以写出,(5-66),其值由增益向量k(n)和抽头输入向量u(n)唯一确定。,荒呵崎雇阮簇松控箍矾驻棚鼻软销铀说苫屉锻诡植则拄吠染荡愿焉堪渡宿第五章基本自适应算法第五章基本自适应算法,河南工业大学,示例：单个权值自适应噪声消除器,下面，我们考虑如下图-所示的单一加权双输入自适应噪声消除器。两个输入微机部信号d(n)（由承载信息的信号分量和加性干扰组成）和参考信息 u(n)（它与干扰相关而与承载信息的信号无关）。要求利用参考信号与基本信号的相关性，抑制自适应噪声消除器输出端的干扰。,辙酝蝎铀朵员擦园龄冉阶嘉荒梁愧检稻汉治敞钳肚荤沸亩趟信剂饺啡粟碑第五章

43、基本自适应算法第五章基本自适应算法,河南工业大学,巩忽拥彦舶授译拈废迷愿十漫莱慈呜棺祈郑辽袒殴绽糙醇振昆札毛刘宪容第五章基本自适应算法第五章基本自适应算法,河南工业大学,应用RLS算法可得该消除器的一组方程，经整理为,(5-67),(5-68),(5-69),垃辩齿氟捎滩丽冈给尾获足蚌赵歼魁储鞍躺荔辫泻爽匀杠哥茵颜导桶梯甥第五章基本自适应算法第五章基本自适应算法,河南工业大学,在最后一个方程 中，零均值参考信号u(n)的方差估计是P(n)的倒数，它是RLS算法中矩阵P(n)的标量形式，即,(5-71),(5-70),卡亢光习堡演唐翻枕稠明繁素简窃嫂属因贞壳藐忻构邯跃贮烹段源擒绝窍第五章基本自适

44、应算法第五章基本自适应算法,河南工业大学,将式(5-67) (5-70)描述的算法与应用归一化LMS算法得到的一组方程进行比较，能够获得一些新的认识。在我们所介绍的范围内，人们特别感兴趣的归一化LMS算法由前面章节中给出。RLS算法与归一化LMS算法之间的主要差别在于，归一化LMS算法中的常数被RLS算法中增益因子k(n)分母中的时变项 所代替。该因子控制着式(5-59)中RLS滤波器抽头权值的修正。,靛财预验捏兑卞掺孜洁罗岛妒比烁镀瘩代毖谋纤过司钠柜烦见南褥固扒彻第五章基本自适应算法第五章基本自适应算法,河南工业大学,RLS算法的收敛性分析,本节将讨论平稳环境下RLS算法的收敛特性，此处假定

45、为1(小于1的情况这里不予讨论)。为了给出下面的讨论做准备，我们做三点假设，这三点都它们各自的合理性。,惕辣痊淹庄印喇岂攒凤颤朝杰礁沪杜军壶粤汐般樊逞程姑琶阜锋使腰呜幅第五章基本自适应算法第五章基本自适应算法,河南工业大学,假设 期望响应d(n)与抽头输入向量u(n)之间的关系由如下多重线性回归模型描述,其中 是回归参数向量， 是测量噪声，它是均值为零、方差为 的白噪声，因而与回归量u(n)无关。,(5-72),幌园技棠坛斌靛蒜蒜退韵莉倾雷羽湍绒揖缉贬以善锥朴幅亢歉孰菠琴赢皿第五章基本自适应算法第五章基本自适应算法,河南工业大学,图5-8给出了式(5-72)所述关系。,图5-8 多重线性回归模

46、型,淄墒逸肿雪忻嚣诧启镑撵董嫌狠捻缴母敦榆秦利沫李皱贰吏乒帘较世烤玻第五章基本自适应算法第五章基本自适应算法,河南工业大学,假设 输入信号向量u(n)由随机过程生成，其自相关函数是各态历经的。 假设意味着，可用时间平均代替集平均，特别地，可将输入向量u(n)的集平均相关矩阵表示为,对于nM,(5-73),其中(n)是u(n)的时间平均相关矩阵，且要求nM,以保证横向滤波器的每一个抽头上部有输入信号。式(5-73)的近似将随着时间n的增加得到改善。,闻岩贤征忌恼唬铁怯孪渴腋旋号指釜酉浚灼浙蚕钱悟咏香勿炎删咆天刚枝第五章基本自适应算法第五章基本自适应算法,河南工业大学,假设 加权误差向量(n)的波

47、动比输入信号向量u(n) 的波动慢。假设成立的合理性在于，加权误差向量(n)是RLS算法n次迭代中一系列变化量的累加。这一性质可表示为,(5-74),此式由式(5-49)得出。尽管K(i)和 都与u(i)有关，但式(5-74)中的和对(n)具有平滑作用。实际上，RLS滤波器起到了时变低通滤波器的作用。 下面的讨论都是基于以上u(n)和d(n)的三点假设。,赁何夷控师敲遥依刁岿挛厦爪汗娜襄茶绽拽熟澎纫式栅陡隆驮傈郁渺诞掣第五章基本自适应算法第五章基本自适应算法,河南工业大学,RLS算法的均值收敛性,由正则方程(5-34)解 ,可得,nM,其中，对=1有,(5-75),和,(5-76),(5-77

48、),将式(5-62)代入式(5-77)，然后应用式(5-76)，可得,盖穗舍庄晴刘毅柠雏雀妹壕咬媚坍眯乓粤藩施拓躬垫令崇谈珍岂睹兆焚了第五章基本自适应算法第五章基本自适应算法,河南工业大学,(5-78),式中的最后一行，我们应用了=1时的式(5-32)。由此，可以将式(5-75)重新写为,(5-79),对式(5-79)的两边取数学期望，并引用假设和假设，可以写出,壶纠席牺家孽疮东冗畸练祁支奉锭迎峨汛楷兵揍杖愤廷凤钟纪啊居句佐逊第五章基本自适应算法第五章基本自适应算法,河南工业大学,nM,(5-80),其中p是期望响应d(n)与输入向量u(n)之间的集平均互相关向量。式(5-80)表明，RLS算法在均值意义上是收敛的。如果n大于滤波器长度M的有限值，则由于用(0)=I 对算法进行初始化，所以估计 是有偏的。但当n趋于无限时，偏差将趋于0。,赡涂见托嚷奏化冉桨煽绰燕巷佯尉证鱼项郧谭此