《系统辨识方法之最小二乘法.docx》由会员分享，可在线阅读，更多相关《系统辨识方法之最小二乘法.docx（7页珍藏版）》请在三一文库上搜索。
1、一、 系统辨识的定义 -2 -二、 最小二乘法的引出 -2 -三、 最小二乘法的原理 -3 -3.1 最小二乘法次完成推导''-3 -3.2最小二乘法的缺陷5- 5 -四、 其他系统辨识方法 -5 -4.1基于BP神经网络的系统辨识方法特点3-5 -4.2基于遗传算法的系统辨识算法 -6 -五、 结论-7 -六、 参考文献 -7 -7 -系统辨识方法简介摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文简要介绍了系统辨识的三种方法，并对最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并
2、没有很好的辨识效果。对于非线性系统的辨识问题，本文介绍了基于BP神经网络算法的系统辨识方法，这种方法由于具有自学习能力， 能很好的适应非线性的复杂性， 得到良好的辨识效果。此外，由于普通的辨识方法往往在辨识过程中陷入局部最优的困扰，特提出基于遗传算法的系统辨识方法，保证了全局最优的实现和求解。关键词：系统辨识、最小二乘法、 BP神经网络、遗传算法一、系统辨识的定义系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L. A. zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的 一类系统中，确定一个与被识别的系统等价的系统。1最先提出了系统辨识的
3、定义。随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。7系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型（模型结构和参数）。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从 一类系统中确定一个与所测系统等价的系统。2、最小二乘法的引出最小二乘法是1795年高斯在预测星体运行轨道最先提出的
4、，它奠定了最小二乘估计理论的基础.到了 20世纪60年代瑞典学者 Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为“灰箱”；如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立 该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛
5、， 辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。4应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理， 从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据， 应用递推算法对参数估计值进行不断修正， 以取得更 为准确的参数估计值。8、最小二乘法的原理3.1最小二乘法一次完成推导'I'本文中以一个 SIS O系统为例说明最小二乘法的原理。十假设一个SIS。系统如下图所示：u
6、( k)图1 SISO系统结构图其离散传递函数为：4. B(z) biZJ b2Z* bnZ3 1G(z ) = 、/ =j=2nA(z )1 aiz a2Z. anZ输入输出的关系为：u(k) *G(z) e(k) = y(k) 3.2进一步，我们可以得到：y(k) A(z") = u(k) B(z*) e(k) 3.3其中，扰动量e(k)为均值为0,不相关的白噪声。将式3.3写成差分方程的形式:y(k) - -a1y(k -1) - a2y(k - 2). - an y(k 一 n) b1u(k -1)b2u(k - 2) . bnu(k 一 n) e(k)3.4令：(k) =_
7、y(k-1) -y(k-2) .y(k-n) u(k-1) u(k-2) . u(k-n)T-a1 a2 . an b1 b2 . bn则式3.4可以写为：y(k) = T (k)u e(k)3.5将上述式子扩展到 N个输入、输出观测值u(k), y(k), k=1,2, , N+n。将其代入到 式3.5中，写成矩阵的形式为：Y - e3.6其中，Y=y(n+1)y(n + 2) .y(n + N)Te = e(n +1)e(n+2) .e(n + N)T-y(n)y (n 1) -y(1)u(n) u1中=y( n 1)a-y(n)-y(2)a a au(n + 1) .au(2)a-y(n
8、 + N)-y(n + N -1)-y(N)u(n + N)u(N) 一取泛函J(8)为Nj(” =、(Y -d)2e2(n i) =eT，e = (Y - ”T (Y - n)一.一，一I、，最小二乘法原理既是使 J(8)最小，对其求极值得："-m)=0由此可得系统的最小二乘法估计值为：- 3t：.,)t：.：，ty这样，我们就得到了系统的最小二乘估计值。以上推导的最小二乘法存在一些缺点，比如：预先取得的观测值越多，系统参数估计的精度越高，但使得矩阵P的阶数越大，矩阵求逆计算量也越大，所需的存储空间也会越大； 每增加一次观测值，必须重新计算 中和(中T中)彳；若中丁列相关，即不满秩
9、，则中9为病态矩阵，无法求得最小二乘估计值。因此可以对该方法进行改进，从而可以得到递推最小二乘法，广义最小二乘法等改进后的方法。这里不做具体的介绍。3.2最小二乘法的缺陷5最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线 性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘法时，并不要求观测数 据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的 增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘 因子法、限定记忆法、偏差补
10、偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及 多级最小二乘法等。四、其他系统辨识方法上文中所推导出的方法为最小二乘一次实现的方法，从推导过程不难发现：我们假定 噪声信号为白噪声， 但实际工程应用中， 白噪声在物理上是不存在的，常见的往往是有色噪声。针对于有色噪声，一次实现的最小二乘法不再满足辨识要求，所以上文中提到了改进的最小二乘法。除了最小二乘法之外，还有极大似然法、贝叶斯法，但由于最小二乘法相对于 这两种方法而言，较容易理解，并且不需要严谨的统计学知识，所以应用更为广泛。但随着智能算法的日新月异，很多针对于系统辨识的智能算法涌现出来，在参数辨识 的问题上发挥了其本身作用。下面简要
11、介绍两种应用于系统辨识的智能算法，叙述其各自的优缺点。4.1基于BP神经网络的系统辨识方法特点 3随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。由于非线性系统本身所包含的现象十分丰富，很难推导出能够适应各种非线性系统的辨识方法，传统的系统辨识方法对于线性系统的辨识具有良好的效果，但对于非线性系统往往不能得到满意的效果。所以，找到一种针对于非线性系统具有良好辨识效果的方法是十分必要的。多层前馈神经网络能够以任意精度逼近非线性映射，其特有的学习能力使其能适应系统或环境的变化；并行计算特点，使其具有潜力，以快速实现大量复杂的运算；分布式信息存 储与处
12、理结构，使其具有容错性；多输入多输出结构可以方便的进行多变量系统的辨识与控 制。因此，神经网络在非线性系统辨识中的应用具有很重要的研究价值和广泛的应用前景。BP网络具有自学习特性， 采用BP算法，即误差反向传播算法进行自学习。BP算法可以看成是以个输入到输出的高度非线性映射。通过BP网络的自学习特性，在辨识过程中可以不断的修正辨识值， 使辨识的模型输出无限逼近于系统的输出值，达到精确辨识的目的。 在处理非线性辨识问题中，BP神经网络算法具有其独自的优点，最终的辨识结果非常令人满意。本文不过多的叙述 BP神经网络算法在系统辨识中的具体操作，如有需要，请参照文献3 中相关内容。4.2基于遗传算法的
13、系统辨识算法在系统辨识的方法中，基于阶跃响应曲线拟合辨识系统传递函数的方法是一种简单且 非常实用的工程辨识方法。但此类辨识方法与其它传统辨识方法一样都存在一些缺点：辨识时需模型结构已知，而且当被辨识系统模型中含有二阶欠阻尼环节时，传递函数的辨识相当麻烦，难以得到满意的结果，为此找到一种操作简单适于工程应用，并且能够同时确定系统的结构与参数且全局收敛的辨识方法是十分有意义的9。本节中将要提到的基于遗传算法的系统辨识方法便是能够同时确定系统结构与参数且全局收敛的辨识方法。在系统辨识过程中，我们往往采用阶跃函数作为输入以获得系统的性能。基于系统阶 跃响应曲线拟合的模型辨识方法是以响应曲线拟合程度为判
14、定准则工作的，基于这一准则辨识系统存在这样的间题：当辨识出的系统模型具有对消的极零点时，系统的阶跃响应曲线仍然满足曲线完全拟合的条件，这样，理论上一个系统存在无穷多个满足拟合条件的对应系统 模型，能否可靠地得到与实际系统一一对应的辨识模型，是辨识过程中值得关心的。 从优化的观点看，此类问题可以归结为具有多个相同极大值点的多峰区域的最优值搜索问题。而在 这一问题中，遗传算法便是能够满足辨识要求的算法。下面具体说明遗传算法的优越性：遗传算法的搜索过程是从空间的一个点集（种群）到另一个点集（种群）的搜索,而不像图搜索那样一般是从空间的一个点到另一个点地搜索。因而它实际是一种并行搜索，适合大规模并行计
15、算，而且这种种群到种群的搜索有能力跳出局 部最优解。遗传算法长于全局搜索，它不受搜索空间的限制性假设的约束，不要求连续性，能以很大的概率从离散的、多极值的、含有噪声的高维问题中找到全局最优解。此外，遗传算法的适应性强，除需知适应度函数外，几乎不需要其他的先验知识。可以说，遗传算法 能够针对与我们之前提到的“灰箱”问题，搜索出适合的全局最优值。并且，遗传算法并不 局限于线性系统，在非线性系统的辨识中仍能够得出良好的效果。五、结论本文针对于系统辨识问题的某些方法进行了简要的介绍。详细推导了最小二乘法一次完成的算法，由于最小二乘法一次完成算法具有一定的缺陷，即在噪声信号为有色噪声时便不再具备一致性，
16、而且源于在非线性系统辨识过程中的研究，本文又简要介绍了两种不依赖于具体模型的智能算法，它们所具有的特性能够满足其在非线性模型的辨识中得到良好的效 果。六、参考文献1 .郭利辉，朱励洪，基于MATLAB的最小二乘法系统辨识与仿真，许昌学院学报，第 29卷第2期，2010年2 .程婵娟，系统辨识的线性规划方法研究，2009年3 .吴进华，基于BP神经网络的非线性动态系统辨识方法，2009年4 .刘静纨，最小二乘法在系统辨识中的应用，北京建筑工程学院学报，第 20卷第3期， 2004年9月5 .王浩宇等，系统辨识及自适应控制系统算法仿真实现，控制工程，第 15卷增刊，2008 年6 .徐洪泽等，基于遗传算法的系统辨识方法可靠性分析，模式识别与人工智能，第13卷第4期，2000年7 .黄文梅等，系统分析与仿真，长沙：国防科技大学出版社，1999年8 . Ivan Markovsky, Jan C. Willems and so on, Application of Structured Total Least Squares , 43rd IEEE Conference on Decision and Control , December 14-17, 20049 .李言俊，张科，系统辨识理论及应用，北京：国防工业出版社，2009年