最优控制与状态估计7.ppt

《最优控制与状态估计7.ppt》由会员分享，可在线阅读，更多相关《最优控制与状态估计7.ppt（86页珍藏版）》请在三一文库上搜索。

1、第一部分、最优控制,什么是最优控制？以下通过例子来说明,问题 1：,电动机的运动方程为,（1）,其中， 为转矩系数； 为转动惯量； 为恒定的负载转矩;,希望：在时间区间0，tf内，电动机从静止起动，转过一定角度 后停止，使电枢电阻 上的损耗 最小，求,因为 是时间的函数，E 又是 的函数，E 是函数的函数，称为泛函。,（2）,采用状态方程表示，令,于是,（3）,初始状态,末值状态,控制 不受限制,本问题的最优控制问题是：在数学模型（3）的约束下，寻求一个控制 ，使电动机从初始状态转移到末值状态，性能指标E 为最小。,初始状态,末值状态,最优控制问题的一般性提法为,系统状态方程为,初始状态为,其

2、中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数，它是 x 、u 和t 的连续函数，并且对x 、t 连续可微。,最优控制问题就是求解一类带有约束条件的条件泛函极值问题。,第一章、用变分法求解最优控制问题,一、泛函与变分,1、泛函的基本定义：,如果对于某个函数集合 中的每一个函数 ，变量J 都有一个值与之对应，则称变量J 为依赖于函数 的泛函，记作,可见，泛函为标量，可以理解为“函数的函数”,当 时，有 ；当 时，有 。,泛函 如果满足以下条件时，称为线性泛函：,1） ，其中c 为任意常数； 2）,对于一个任意小正数 ，总是可以找到 ，当 时，有 就称泛函 在 处是连续的

3、。,3、泛函变分的规则,1）,2）,3）,4）,泛函的变分等于,4、泛函的极值,设 是在线性赋泛空间 上某个子集D 中的线性连续泛函， ，若在 的某邻域内,为了判别是极大还是极小，要计算二阶变分 。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般不计算 。,定理：设 是在线性赋泛空间 上某个开子集D 中定义的可微泛函，且在 处达到极值的必要条件是对于 在 处必有泛函,欧拉方程：,定理：设有如下泛函极值问题： 其中， 及 在 上连续可微， 和 给定， 已知 ， ， ，则极值轨线 满足如下欧拉方程,及横截条件,注意：满足欧拉方程是必要条件，不是充分条件。,证明：让自变量函数 、 在极值曲

4、线 、 附近发生微小变分 、 ，即,上式中 是高阶项。,于是泛函J 的增量 可计算如下（以下将*号省去）,根据定义，泛函的变分 是 的线性主部，即,对上式第二项作分部积分，按公式,J 取极值的必要条件是 等于零。因 是任意的，要使上式中第一项（积分项）为零，必有,上式称为欧拉拉格朗日方程。,第二项为零，就有,二、用变分法求解最优控制问题,1 末值时刻固定、末值状态自由情况下的最优控制,非线性时变系统状态方程为,（6）,初始状态,（7）,其中，x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数。,引入拉格朗日乘子,（9）,将性能指标（8）式改写为其等价形式,（12）,对（11）

5、式中的第三项进行分部积分，得,当泛函J 取极值时，其一次变分等于零。 即,可以变分的量：,不可以变分的量：,求出J 的一次变分并令其为零,将上式改写成,（13）,由于 未加限制，可以选择 使上式中 和 的系数等于零。于是有,（15）,（14）,（16）,（14）式称为伴随方程， 为伴随变量，（17）式为控制方程。,几点说明：,1）实际上，（14）式和（17）式就是欧拉方程。,（18）,因为,（19）,可见（21）式和（18）式相同，（22）式和（19）式相同。因此，（14）式和（17）就是欧拉方程，而（7）式和（15）就是横截条件。,（22）,2） 是泛函取极值的必要条件是否为极小值还需要二次

6、变分 来判断， 则泛函J 取极小值。,3） 哈密顿函数沿最优轨线随时间的变化率,在最优控制 、最优轨线 下，有 和,（23）,即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏导数。记为 则,（25）,当哈密顿函数不显含 t 时，由（25）式得,因为,将 代入状态方程,解为,当 时，代入上式，求得 ，所以,当 时，,最优性能指标为,2 末值时刻固定，末端状态固定情况下的最优控制,非线性时变系统状态方程为,（27）,寻求最优控制 ，在 内，将系统从 转移到 ，同时使性能指标J 取极小值。,（性能指标如（30）式所示的最优控制问题，是变分法中的拉格朗日问题）,引入哈密顿函数,其中,于是,因为

7、,对上式右边第2项进行分部积分，可以得到,上式中可以变分的量：,不可以变分的量：,令性能指标J 的一次变分等于零，得,（31）,在末端状态固定情况下， 不是任意的。只有在系统能控的情况下，才有控制方程,例 2 问题 1的系统状态方程为,末值状态,初始状态,性能指标,设,最优控制问题就是在状态方程的约束下，寻求 ，使 转移到 ，并使J 取极小值。,解 根据能控性判据知，该系统是能控的,1）哈密顿函数为,3）由伴随方程 ，得到,（ ， 为积分常数）,4）由状态方程得,（ ， 为积分常数）,根据边界条件，确定积分常数，得,代入 和,它们的曲线如图所示,（图中 ，实线是理论上的变化，虚线是实际的轨线。

8、）,3 末值时刻自由情况下的最优控制,非线性时变系统状态方程为,初始状态,初始时刻 固定，末值时刻 是自由的。 自由，性能指标,（34）,于是,可以变分的量,不能变分的量,上式中H 为 的简化表示,应当注意，末值时刻 自由时， 不等于,或,上式代入（35）式,性能指标取极值时，必有,（36）,（38）,（40）,（41）,而,2）由控制方程 ，得,或,3）由伴随方程,5）由于 自由， ，得到,或,解得,第二章、用极小值原理求解最优控制问题,一、 问题的提出,用变分法求解最优控制时，认 为控制向量 不受限制。但是 实际的系统，控制信号都是受到 某种限制的。,因此，应用控制方程 来确定最优控制，可

9、能出错。,a)图中所示，H 最小值出现在左侧，不满足控制方程。 b)图中不存在,二、 极小值原理,非线性定常系统的状态方程为,（42）,初始时刻 ，初始状态 ，末值时刻 ，末端状态 自由,（43）,以下就是用极小值原理解前面的问题：,设 为容许控制， 为对应的状态轨线。为了使它们分别成为最优控制 和最优轨线 ，存在一个向量函数 ，使得,（45）,（46）,则哈密顿函数H 相对最优控制取极小值，即,（50）,几点说明：,1）极小值原理给出的只是最优控制应该满足的必要条件。,2）极小值原理的结果与用变分法求解最优问题的结果相比，差别仅在于极值条件。,4）非线性时变系统也有极小值原理。,3）这里给出

10、了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标J的极小值与求J的极大值等价。,三、 二次积分模型的快速控制,在问题 2 中，若 ， ，令 。就是二次积分模型。,要求在状态方程约束下，寻求满足（55）式的最优控制 ，使系统从 转移到 ，同时使J 取极小值。,因为在这个最优控制问题中，控制信号 受限制，因此用极小值原理来求解。系统是能控的，其解存在且唯一。,3）伴随方程为,如果 的初始值为 ， ，则,（62）,（63）,在0， 内最多变号一次，最优控制函数有以下可能的4种情况,4）由状态方程可知，当 时，求得,消去t 得,或写成,为了形象地表示系统的运动形态，引用相平面方法，画

11、出相轨迹如下图所示。相轨迹为两族抛物线。,从 到达 的相轨迹只有两条 、 。,0,0,将 和 合起来，,曲线r 将相平面分成两个区域 和,最优控制系统的结构图，如下图所示,5）最优性能指标,初始状态在A点：,说明：通过这个最优控制问题的求解发现，最优控制与问题6-1不同。在问题6-1中， 为时间的三角函数。 而在这里， 为时间方波函数。原因在于性能指标不同，因此 也不同。因此，在说到最优控制问题时，一定要指明性能指标，即求解在什么性能指标下的最优。,第三章、 用动态规划法求解最优控制问题,右图为某小城镇交通路线图。起点站为S，终点站为F，,站与站之间的里程标在图上，要求选择一条路线走法，使里程

12、最短。这是一个最优控制问题。,一种办法是将从S 到F 所有可能走法都列出来，并且把每种走法的里程标在各条路线上，找出最短的。,一、 动态规划法的基本思想,第二个办法：从最后一段开始，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，并选择里程最少的走法。,从该例看出，这种解法有两个特点: 第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（p）还是向下走（q）的问题），因此问题的求解变得简单容易了。,不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的

13、多级最优控制问题代换成一系列单级最优控制问题。,二、 最优性原理,最优性原理在一个多级决策问题中的最优决策具有这样的性质，不管初始级 、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。,要求确定 ，使性能指标最优，即,一般认为，第k 级决策 与第k 级以及k 以前各级状态 和决策 有关,（64）,以上函数称为策略函数,应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前的决策没有明确的要求。,三、 用动态规划法求解离散系统最优控制问题,系统状态方程为,（66）,（67）,（68）,要求在状态方程约束下，寻求 使,可以受

14、限制，也可以不受限制。,例 4 线性定常离散系统的状态方程为,初始状态为 ，性能指标为,寻求最优控制序列 ，使 （为了简单起见，设 ）,解 运用动态规划法来求解,1） 从最后一级开始，即,2） 向前倒推一级，即,因为 不受限制，故 可以通过下式求得,3） 再向前倒推一级，即,注意：1、对一个多级决策过程来说，最优性原理保证了全过程性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的决策作为最优决策。 2、动态规划法给出的是最优控制的充分条件，不是必要条件。这和极小值原理

15、是不同的。,四、 用动态规划法求解连续系统最优控制问题,非线性时变系统状态方程为,（69）,初始条件,（70）,性能指标,（71）,如果对于初始时刻 和初始状态 来说， 和 是系统的最优控制和最优轨线。那么，对于 和状态 ，它们仍是所研究的系统往后的最优控制和最优轨线。,假定 是存在的且是连续的并且有连续的一阶、二阶偏导数，由最优性原理可以写出,（74）,用类似的处理方法，令,（75）,则（74）式可以写成,（76）,而由中值定理，（76）式右边第一项可以写成,（78）,其中， 是介于0和1之间的某一常数。,（80）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控制问题的基本方程。,显然有,（

16、81）,方程（80）的边界条件,（82）,注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，不是必要条件。,用动态规划法求解连续系统最优控制问题的步骤：,（84）,在求解方程（84）时，若 不受限制，则在引入哈密顿时，有,2）将 代入（80）、（82）和（83）式，解出,（86）,4）将（85）式代入系统状态方程,可以求出最优轨线 。把 代入（85）式得到最优控制,用分析方法，可知,2）将 代入哈密顿贝尔曼方程,即,可以分析出 是正函数，则哈密顿贝尔曼方程可写成,由于 与 无关，上式为一元微分方程，其通解为,其中，c 为积分常数，由边界条件确定为 c =0,3）将 代入 的表达式中,本例中,

17、4）将 代入状态方程，可解得,由此得,最优性能指标,第四章、线性二次型最优控制问题,一、 引言,线性系统以二次型为性能指标的最优控制问题，已经在国内、外的工程实践中得到应用。原因如下：,1）被控对象是线性的，最优控制问题容易求得解析解。,2）线性系统最优控制的结果，可以在小信号条件下，应用于非线性系统。,3）最优控制器是线性的，易于实现。,4）线性、二次型性能指标的最优控制问题除了得到最优解外，还可以导出经典控制理论的一些特性。,二、 有限时间状态调节器(tf 有限),线性时变系统的状态方程为,（87）,（88）,其中，x 为n 维状态向量；u 为r 维控制向量，且u 不受限制。,其中，F为

18、对称半正定常数阵； 为 对称半正定时变阵。 为 对称正定时变阵。,求解这个最优控制问题，可以用极小值原理，也可以用动态规划法。这里用极小值原理来求解。,4）将 代入状态方程得,（94）,初始状态为,（95）,（91）式可改写成,（98）,比较（97）和（98），可以得到,（99）,（101）,状态反馈的闭环方程为,（102）,其中,（103）,例 6 系统状态方程为,求最优控制 ，使性能指标,取极小值。,解 矩阵的黎卡提方程为,求解上面的微分方程，有,其中,即,最优控制为,由,最优轨线为,三、 无限时间状态调节器(tf ),线性时变系统,寻找一个最优控制 ，使J 取极小值,（105）,这里产生

19、一个问题： 时，性能指标是否收敛？,（106）,根据分析，显然当 时，J 取极小值。,但是,是不能控的状态分量，而且是不稳定的。导致,结论：该问题不存在有意义的解。,可见，无限时间状态调节器与有限时间最优调节器类似，均可以用状态负反馈构成状态闭环控制。但是反馈增益矩阵是时变的，给工程实践带来不便。,卡尔曼研究了矩阵黎卡提微分方程解的各种性质，得出以下结果：,（114）式代入（111）式，得,（116）,最优轨线可以由（116）式和（114）式求出。,最优性能指标,（117）,当这个无限时间状态调节器满足以下条件时，状态反馈增益矩阵才为常数矩阵：,1）系统为线性定常系统；,2）系统为能控；,3）

20、末值时刻 ；,4） J 中不含末值项，即 F = 0 ；,5） Q ，R 为正定阵。,例 7 线性定常系统的状态方程为,0,求最优控制 ，使 J 取极小值。,解 检验系统能控性 能控。,当 时， ；当 时， 。,四、 定常情况下状态调节器的稳定性,用李亚普诺夫第二法来研究其稳定性,将（116）式代入（119）式，并且考虑（115）式，有,（120）,因此，定常情况下状态调节器平衡状态 是渐近稳定的。 即使开环系统 是不稳定的，也不管 Q 、R 阵如何选取，只要Q 、R 阵为正定的，则状态调节器总是渐近稳定的。,（119）,sys: A,B,五、应用Matlab 解LQ问题,2 K,P,L=lqr(A,B,Q,R),K: 状态反馈增益阵 P: 黎卡提(Riccati)矩阵代数方程的解 L: 闭环系统的特征值,1 K,P,L=lqr(sys,Q,R),例题 A=0 1;0 0 B=0;1 Q=1 0;0 1 R=1; K,P,L = lqr(A,B,Q,R) K=1.0000 1.7321,用Matlab 求解,例题 A=0 1;0 0 B=0;1 Q=5 0;0 1 R=1; K,P,L = lqr(A,B,Q,R) K=2.2361 2.3393,用Matlab 求解,