《随机线性系统的最优控制【骄阳书苑】.ppt》由会员分享，可在线阅读，更多相关《随机线性系统的最优控制【骄阳书苑】.ppt（59页珍藏版）》请在三一文库上搜索。
1、第八章 随机线性系统的最优控制,1,课件参考,本章主要内容,8.1 分离定理和离散随机线性调节器问题 8.2 连续随机线性调节器问题 8.3 随机线性跟踪器问题 8.4 小结,返回主目录,2,课件参考,前几章在讨论最优控制问题时，我们认为控制系统是确定性的，它不受随机干扰的影响。,实际工作中的系统免不了要带有随机干扰的因素，所以我们要研究在随机干扰作用下系统的最优控制问题，即要同时考虑最优估计和最优控制问题。,3,课件参考,这是一个复杂的问题，我们仅讨论系统是线性的，指标函数是二次型的以及随机干扰是高斯分布噪声情况下的最优控制问题，即所谓LQG问题(Linear Quadratic Gauss
2、ian Problem)。,4,课件参考,这种情况下存在一个有名的分离定理(或确定性等价原理)，按照此定理，可把最优控制问题和状态变量的最优估计问题分开来讨论。,在研究最优控制问题时，假定所有状态变量都可直接得到，而在研究状态变量的最优估计时，则假定控制信号是已知的确定性函数。最后把控制规律中的状态变量用其估计值代替，就得到了随机线性系统的最优控制。,5,课件参考,8.1 分离定理和离散随机线性调节器问题,首先回顾一下第五章中关于确定性系统线性二次型最优控制的结果。,6,课件参考,为半正定加权阵， 为正定加权阵。,线性离散系统状态方程(第五章(5-52)式),二次型性能指标(第五章(5-53)
3、式),(8-1),(8-2),7,课件参考,最优控制为(第五章(5-64)式),其中K(k)满足矩阵黎卡提差分方程(第五章(5-61)式),(8-3),(8-5),8,课件参考,为了与本章的符号统一起来,将上面的方程改写如下:,9,课件参考,其中, 满足下面的矩阵黎卡提差分方程,(8-7),(8-8),(8-9),(8-11),(8-12),10,课件参考,其中 是零均值高斯分布的白噪声，满足,现在来考虑LQG问题。随机线性系统的状态方程和测量方程为,(8-14),(8-16),11,课件参考,注意，为了与噪声方差阵符号区分，这里把加权阵改为 ， 。,对于这样一类线性随机系统，在设计最优反馈控
4、制时，由于状态向量 的随机性，(8-8)式所表示的性能指标也是随机变量，直接考虑它的最小化问题是没有意义的。我们把(8-8)式的数学期望作为随机最优控制的指标函数并省去 这个因子。,(8-17),12,课件参考,对于线性高斯随机系统(8-14)(8-15)的最优控制问题，就是要求找到一组最优控制量U0、U1、UN-1使指标函数(8-17)取得极小值。对于这种LQG问题，最优控制规律可按确定性系统(8-7)来求，只是将状态变量的反馈改为状态变量估计值的反馈，这就是分离定理。我们将它表达如下,13,课件参考,分离定理,其中 是 的最优线性滤波估计， 的求法与确定性系统的公式(8-10)相同。,对于
5、由方程(8-14)(8-15)以及指标函数(8-17)所描述的线性高斯随机控制系统，其最优控制为,(8-19),14,课件参考,我们用第六章中动态规划的最优性原理来证明。因此，从最后一区间向后倒退计算，即依次计算 。,证明,首先考虑最后一段的最优控制问题，即确定从采样时刻 到终止时刻 这一步上的最优控制 ，使这一步的指标函数为最小，即,1) 一步问题,(8-20),15,课件参考,将 时的状态转移方程(8-14)代入上式，消去 后得到,将上式展开(为简明起见，暂时不写下标)得,(8-21),(8-22),16,课件参考,(8-23),由于其中每一项均为标量，并且 是对称阵，所以上式右端第二项等
6、于第七项，第三项等于第四项，第五项等于第八项。于是,17,课件参考,其中 。,由(8-14)可知只与Wk-1、Wk-2、W0有关而与Wk无关，并且Wk是零均值的，故上式中第三项和第四项的均值为零。又因为所求控制量所依据的信息只有系统过去的输出量(状态变量不能直接测量)和初始状态的均值，即,(8-24),18,课件参考,根据Wk与Zk和X0的随机独立性，可知Uk与Wk也是独立的，故(8-21)中第四项的均值也为零。至此 化为(恢复下标),(8-25),19,课件参考,由于上式右端花括号内的量是依赖于测量值ZN-1Z1，Z2，ZN-1T和m0 为已知这一条件上的，而条件ZN-1又是随机的，因此要利
7、用条件期望的性质来计算。根据本章2中关于条件概率的定义可推出下面的性质,(8-26),20,课件参考,上式右端方括号内的求数学期望是对随机变量 而言的(假定 已知)，外层的求数学期望是对条件 而言的，而等式左端是无条件数学期望，上式可证明如下：,=,21,课件参考,于是(8-25)式可进一步化为,(8-27),由于 非随机，所以上式外层数学期望只是对ZN-1取的，为了找到UN-1使 最小，这等价于使上式内层的条件数学期望最小。这时假定条件ZN-1给定，而UN-1是ZN-1的确定性函数，因此UN-1与求内层条件数学期望无关，,22,课件参考,然后，将这此与UN-1有关的项对UN-1求导并令其等于
8、零，即,和,23,课件参考,我们知道，最小方差估计即条件均值，在高斯分布情况下，线性最小方差估计即最小方差估计，因为卡尔曼滤波值是线性最小方差估计，故滤波值 就是条件均值，即,利用标量对向量的求导公式，可得,由此解出最优控制UN-1为,(8-28),(8-29),24,课件参考,把上式与确定性最优控制的解(8-13)式(令 )对照，并注意(8-12)即 ，可见两者形式完全一样，只 是 将代而己。(8-18)(8-30)还可简化为,(8-31),于是(8-28)式可成,(8-30),25,课件参考,这样，我们就证明了分离定理对最后一步来讲是正确的。,(8-33),下面来计算最后一段的最优指标值
9、。将(8-31)代入(8-25)得,26,课件参考,上式第二项可写成(略去下标),式中,27,课件参考,式中， ，并注意S为对称，故可得出(8-37)式。将(8-34)(8-37)代入(8-33)可得,=,(8-33)第四项可写成,而(8-34)与(8-36)相加得,(8-36),(8-37),28,课件参考,反映了由动态噪声WN-1和滤波误差 造成的指标函数的增加。在确定性最优控制中因 为零，这项将为零。,利用(8-35)合并同类项，并恢复下标，可得,(8-38),(8-40),29,课件参考,将一步最优化的结果(8-38)代入上式，并注意到 不受UN-2的影响，可把它提到 号之外，即可得到
10、,2)两步问题,接下来讨论最后两步的最优控制问题。根据动态规划最优化原则，可把最后两步的最优化指标表示为,(8-41),30,课件参考,将 的表达式(8-42)与 的表达式(8-20)相比，可见除 中多一个常数项 之外，两者形式完全相同，于是可重复一步最优化过程的步骤，得到下面的结果,31,课件参考,(8-46),(8-44),(8-45),(8-48),(8-47),(8-49),32,课件参考,类似于从一步问题至两步问题的推演过程，由后向前算第N-K步(即由前向后算第K步)的最优指标为 ,3)一般结果,采用数学归纳法即可得出如下的一般结果,(8-51),(8-52),(8-53),(8-5
11、0),33,课件参考,(8-54),(8-57),此即 所满足的矩阵黎卡提方程。终端条件为,将(8-54)代入(8-53)，并将 下标改为 ，可得,(8-56),34,课件参考,现在将上面LQG问题的结果(8-51)(8-52)(8-56)(8-57)与确定性最优控制的结果(8-13)(8-10)(8-11)和(8-12)分别对比，注意到LQG问题解中的 相当于确定性最优控制解中的 ，于是两者解的形式完全相同，只是在LQG问题中用估计值 代替 状态而己，于是分离定理得证。,35,课件参考,它和滤波增益阵 都可预先离线计算出来。,利用分离定理的结论来设计线性随机系统的最优反馈控制器，框图如图8-
12、1所示，图中Z-1表示一步延迟，反馈增益阵为,(8-58),36,课件参考,图 8-1 线性随机系统的最优反馈控制框图,37,课件参考,8.2 连续随机线性调节器问题,其中， 和 为零均值高斯白噪声，且,(8-61),(8-62),我们不加证明地列出下面的结果，设连续随机线性系统为,(8-59),(8-60),38,课件参考,这里用 表示噪声方差阵,为避免混淆将加权阵改为,指标函数为,上述问题称为连续系统的线性高斯二次型问题(LQG问题)。和离散的情况相同，根据分离定理，最优控制系统由两部分组成；一部分是确定性最优控制器；另一部分是与其串联的最优线性滤波器。最优控制可写成,(8-64),39,
13、课件参考,反馈增益与确定性最优控制一样(参考第五章(5-16)式)，即,满足下面的矩阵黎卡提微分方程(参考第五章(5-14)式，注意这里 不是卡尔曼滤波增益),图8-2表示连续随机线性系统最优控制的方块图。,(8-65),(8-66),40,课件参考,图 8-2 连续随机线性系统最优控制的方块图,41,课件参考,例8-1,图8-3是汽车自动控制系统的示意图。汽车沿着道路上设置的制导电缆自动行驶，汽车偏移电缆的横向位移由传感器测出。图8-4是自动控制系统的原理方块图。图中W为作用在汽车上的干扰力(例如路面不平等引起)，U为方向舵控制力，V为传感器测量噪声，X为汽车侧向位移。,42,课件参考,图
14、8-3 汽车制导传感器原理图,图 8-4 汽车制导方块图,43,课件参考,1、对象状态方程,令 ，则汽车的状态方程为,汽车可看成纯惯性环节，其传递函数为,其中 ， ，,(8-67),(8-68),44,课件参考,2、量测方程,和 为常数。,其中 ， ，为正态分布的噪声 ， 且干扰W和测量噪声V不相关，即,根据实例，干扰力W为服从正态分布的白噪声,(8-69),45,课件参考,3、性能指标 4、最优控制的设计,(8-70),其中，第一项表示对汽车侧向位移的约束，第二项则表示对控制量U的约束。,这是线性二次型高斯问题，可以应用分离定理。因不是无限长时间定常系统调节器问题 ，可以用稳态控制增益，即,
15、(8-71),(8-72),46,课件参考,其中K满足矩阵黎卡提代数方程,这里，,把这些值代黎卡提方程(8-73)，得,(8-73),47,课件参考,可解得 ， ， ，,将上面求到的 代入(8-72)，可求得稳态增益阵为,由上式可得到三个方程式,48,课件参考,其中，稳态卡尔曼滤波增益 为,于是由(8-71)得,其中，滤波值由下面的卡尔曼滤波方程决定,(8-74),(8-75),(8-76),49,课件参考,满足下面的矩阵黎卡提代数方程,其中,(8-77),(8-77),50,课件参考,由上面的值代入(8-77)求出 ，将 代入(8-76)求出，再代入(8-75)，可得,由(8-78)，(8-
16、79)解出 ，代入(8-74)即可求所需最优控制。,其中，,(8-78),(8-79),51,课件参考,8.3 随机线性跟踪器问题,前面我们讨论的问题是使系统状态变量和输出量尽量控制到零，这种问题称为调节器问题(使输出量跟踪常值外作用的问题可归化为这种问题)。但在实际工作中有时要求系统的输出跟踪一个随时间变化的外作用，这种问题称为跟踪问题。制导系统和随动系统就可归入这类。,52,课件参考,为n维， 为m维， 为q维，Ck为s维。要求Ck跟踪一个指令作用 Dk。性能指标为,设系统的动态方程和量测方程为,另有一个输出方程为,(8-80),(8-81),(8-82),53,课件参考,其中， 是白噪声
17、,设指令作用 由另一个系统(如被跟踪的敌机)生成，其状态方程和量测方程为,一种基本的处理方法是引入增广状态向量,和增广噪声向量,(8-85),(8-86),54,课件参考,于是，关于 的动态方程是,新的输出方程为,其中,(8-87),(8-88),55,课件参考,(8-87)(8-89)组成了关于 的LQG调节器问题。当 ， 就化为关于 调节器问题。,用这些增广向量和增广矩阵来表示指标函数，有,令,56,课件参考,在设计这个增广系统的最优控制时，仍可采用分离定理的结论。不过这时的状态估计是对增广状态 的估计它是由 和 组成的向量。将 和 反馈即可构成最优跟踪控制系统，其结构图如图8-5所示,图
18、 8-5 随机线性跟踪器原理图,57,课件参考,8.4 小结,1、,在随机线性系统最优控制中，目前在理论上和应用上比较成熟的是所谓LQG问题，即线性系统、二次型指标、高斯分布噪声情况下的最优调节器问题。这时分离定理可以成立。,根据分离定理，可将LQG分成两部分，即根据确定性系统来求出最优反馈控制律，再由卡尔曼滤波器来测定最优状态估计值，将这个状态估计值代替状态变量本身，就得到了最优反馈控制。,58,课件参考,2、 3、,用动态规划证明了离散系统的分离定理，证明中用到了最优性原理以及高斯分布下线性最小方差估计即条件均值的结论。还可用极大值原理来证明分离定理。,随机线性系统的最优跟踪器的设计问题可以用增广状态的方法化为调节器问题，因而设计方法与LQG问题是类似的。,59,课件参考,