《基于RBF神经网络整定的PID控制器设计及仿真 毕业论文.doc》由会员分享，可在线阅读，更多相关《基于RBF神经网络整定的PID控制器设计及仿真 毕业论文.doc（35页珍藏版）》请在三一文库上搜索。
1、华北电力大学毕 业 设 计(论文)系 别专业班级学生姓名 指导教师基于RBF神经网络整定的PID控制器设计及仿真题 目 年 月I华北电力大学科技学院本科毕业设计（摘要）基于RBF神经网络整定的PID控制器设计及仿真摘 要目前，因为PID控制具有简单的控制结构，可通过调节比例积分和微分取得基本满意的控制性能，在实际应用中又较易于整定，所以广泛应用于过程控制和运动控制中，尤其在可建立精确模型的确定性控制系统中应用比较多。然而随着现代工业过程的日益复杂，对控制要求的逐步增高（如稳定性、准确性、快速性等），经典控制理论面临着严重的挑战。对工业控制领域中非线性系统，采用传统PID 控制不能获得满意的控制
2、效果。采用基于梯度下降算法优化RBF神经网络，它将神经网络和PID控制技术融为一体，既具有常规PID控制器结构简单、物理意义明确的优点，同时又具有神经网络自学习、自适应的功能。因此，本文通过对RBF神经网络的结构和计算方法的学习，设计一个基于RBF神经网络整定的PID控制器，构建其模型，进而编写M语言程序。运用MATLAB软件对所设计的RBF神经网络整定的PID控制算法进行仿真研究。然后再进一步通过仿真实验数据，研究本控制系统的稳定性，鲁棒性，抗干扰能力等。关键词：PID；RBF神经网络；参数整定SETTING OF THE PID CONTROLLER BASED ON RBF NEURAL
3、 NETWORK DESIGN AND SIMULATIONAbstractAt present, because the PID control has a simple control structure, through adjusting the proportional integral and differential gain basic satisfactory control performance, and is relatively easy to setting in practical application, so widely used in process co
4、ntrol and motion control, especially in the accurate model can be built more deterministic control system application. With the increasingly complex of the modern industrial process, however, increased step by step to control requirements (e.g., stability, accuracy and quickness, etc.), classical co
5、ntrol theory is faced with severe challenges. Non-linear systems in industrial control field, using the traditional PID control can not obtain satisfactory control effect. Optimized RBF neural network based on gradient descent algorithm, it will be integrated neural network and PID control technolog
6、y, with a conventional PID controller has simple structure, physical meaning is clear advantages, at the same time with neural network self-learning, adaptive function. Therefore, this article through to the RBF neural network structure and the calculation method of learning, to design a setting of
7、the PID controller based on RBF neural network, constructs its model, and then write M language program. Using the MATLAB software to design the RBF neural network setting of PID control algorithm simulation research. Data and then further through simulation experiment, the control system stability,
8、 robustness, anti-interference ability, etc.Keywords: PID; RBF neural network; Parameter setting 目 录摘 要Abstract1 绪论11.1 课题研究背景及意义11.2神经网络的发展历史22 神经网络62.1神经网络的基本概念和特点62.2人工神经网络构成的基本原理62.3神经网络的结构72.3.1前馈网络72.3.2 反馈网络72.4神经网络的学习方式82.4.1监督学习(有教师学习)82.4.2非监督学习(无教师学习)82.4.3再励学习(强化学习)92.5 RBF神经网络92.5.1 RBF
9、神经网络的发展简史92.5.2 RBF的数学模型92.5.3被控对象Jacobian信息的辨识算法102.5.4 RBF神经网络的学习算法112.6 本章小结123 PID控制器133.1 PID控制器简介133.2 经典PID控制原理133.3 现有PID控制器参数整定方法153.4 PID控制的局限153.5本章小结154 基于RBF神经网络整定的PID控制器设计164.1 RBF神经网络的PID整定原理164.2 神经网络PID控制器的设计164.3 本章小结175 仿真分析185.1 系统的稳定性分析185.2 系统抗干扰能力分析195.3 系统鲁棒性分析205.4 本章小结22结 论
10、23参 考 文 献24致 谢25附录 仿真程序261 绪论1.1 课题研究背景及意义PID控制器（按比例、积分和微分进行控制的调节器）是最早发展起来的应用经典控制理论的控制策略之一，是工业过程控制中应用最广泛，历史最悠久，生命力最强的控制方式，在目前的工业生产中，90以上的控制器为PID控制器。PID控制器算法简单、鲁棒性好和可靠性高，控制效果良好，因此被广泛应用于工业控制过程中，尤其适用于可建立精确数学模型的确定性控制系统。对于传统PID控制器，在把其投入运行之前，要想得到较理想的控制效果，必须先整定好三个参数：即比例系数Kp、积分系数Ki、微分系数Kd。但是如果控制器参数整定不好，即使控制
11、器本身很先进，其控制效果也会很差。随着工业的发展，控制对象的复杂程度也在不断加深，许多大滞后、时变的、非线性的复杂系统，如温度控制系统，被控过程机理复杂，具有高阶非线性、慢时变、纯滞后等特点，常规PID控制显得无能为力；另外，实际生产过程中存在着许多不确定因素，如在噪声、负载振动和其他一些环境条件下，过程参数甚至模型结果都会发生变化，如变结构、变参数、非线性、时变等，不仅难以建立受控对象精确的数学模型，而且PID控制器的控制参数具有固定形式，不易在线调整，难以适应外界环境的变化，这些使得PID控制器在实际应用中不能达到理想的效果，越来越受到限制和挑战。因此，如何使PID控制器具有在线自整定其参
12、数的功能，是自从使用PID控制以来人们始终关注的重要问题。并且，随着相关领域技术的不断发展，对控制系统的指标要求也越来越高。人们一直在寻求PID控制器参数的自适应技术，以适应复杂系统的控制要求，神经网络理论的发展使这种设想成为可能。人工神经网络是由大量简单的基本神经元相互连接而构成的自适应非线性动态系统。神经网络控制能够充分任意地逼近任何复杂的非线性关系，具有很强的信息综合能力，能够学习和适应严重不确定系统的动态特性，故有很强的鲁棒性和容错性，可以处理那些难以用模型和规则描述的过程；神经网络所具有的大规模的并行处理和分布式的信息存储；极强的自学、联想额容错能力；良好的自适应和自组织性；多输入、
13、多输出的非线性系统都基本符合工程的要求。人工神经网络作为生物控制论的一个成果，其触角几乎延伸到各个工程领域，并且在这些领域中形成新的生长点。径向基神经网络(简称RBF网络)，是一种高效的前馈式神经网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。同时，它也是一种可以广泛应用于模式识别、非线性函数逼近等领域的神经网络模型。基于RBF神经网络的PID控制器由经典的PID控制器和RBF神经网络组成，其基本思想是利用神经网络的自学习功能和非线性函数的表示能力，遵从一定的最优指标，在线调整PID控制器的参数，使之适应被控对象参数以及结构的变化和输入参考信号的变化，并
14、能够抵御外来扰动的影响，达到具有良好的鲁棒性的目标。神经网络应用时不需考虑过程或现象的内在机理，一些高度非线性和高度复杂的问题能较好地得到处理，因此神经网络在控制领域取得了较大的发展，特别在模型辨识、控制器设计、优化操作、故障分析与诊断等领域迅速得到应用。神经网络控制作为二十一世纪的自动化控制技术，国内外理论与实践均充分证明，其在工业复杂过程控制方面大有用武之地。而工业现场需要先进的控制方法，迫切需要工程化实用化的神经网络控制方法，所以研究神经网络在控制中的应用，对提高我国的自动化水平和企业的经济效益具有重大意义。神经网络具有很强的非线性逼近能力和自学习能力，所以将RBF神经网络算法与PID控
15、制相结合产生的间接自校正控制策略，能自动整定控制器的参数，使系统在较好的性能下运行。虽然人工神经网络存在着以上的许多优点及广泛的应用，但同时也存在着一些不足，由于神经网络的不足阻碍了神经网络的发展，在现实应用中RBF神经网络是最为广泛的神经网络模型之一，RBF神经网络是在1988年被Moody和Darken提出的一种神经网络结构，它从根本上解决了BP网络的局部最优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛速度快。RBF网络和模糊逻辑能够实现很好的互补，提高神经网络的学习泛化能力，本课题是以RBF神经网络模型研究为主，RBF神经网络的优缺点主要表现在以下几个方面：优点： 它具有唯一最佳
16、逼近的特性，且无局部极小问题存在。 RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。 网络连接权值与输出呈线性关系。 分类能力好。 学习过程收敛速度快。缺点： 最严重的问题是没能力来解释自己的推理过程和推理依据。 不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。 把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。 理论和学习算法还有待于进一步完善和提高。此外，RBF 神经网络用于非线性系统建模需要解决的关键问题是样本数据的选择，在实际工业过程中，系统的信息往往只能从系统运行的操作数据中分
17、析得到，因此如何从系统运行的操作数据中提取系统运行状况信息，以降低网络对训练样本的依赖，在实际应用中具有重要的价值。隐含层基函数的中心是在输入样本集中选取的，这在许多情况下难以反映出系统真正的输入输出关系，并且初始中心点数太多；另外优选过程会出现数据病态现象等问题的存在严重阻碍了RBF神经网络的发展，致使其理论发展缓慢。同时也因为RBF网络的这些缺点限制了其应用领域的拓宽及应用程度的深入，不利于国民经济的健康发展。因此，研究RBF神经网络显然具有重要理论意义和重要的应用价值。1.2 神经网络的发展历史神经网络的研究最早可以追溯到人类考试研究自己智能的时期。这一时期截止到1949年。1943年，
18、心理学家WMcculloch和数理逻辑学家WPitts在分析、总结神经元基本特性的基础上首先从信息处理的观点出发，合作提出了一种简单的人工神经元数学模型。在该模型中，神经元表现为二个状态，即“兴奋”和“抑止”。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。1945年冯诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动化网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指
19、令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯诺依曼的名字是与普通计算机联系在一起的，但他也是人人工神经网络研究的先驱之一。1949年，心理学家D.O.Hebb发表了论著Tlle origanization ofbehavior,提出来很多有价值的观点，特别是他认为在一个神经网络里信息是分布式地存储在突触连接的权值中，而权值可以通过网络的学习来调整。Hebb同时提出了网络学习的规则，即Hebbian规则，从而使神经网络具有了可靠性。Hebb的工作对后来的神经网络结构和算法产生了很大的影响，目前的一些神经网络的学习规则仍在采用Hebbian规则或它的改进型规则。第一次研究高潮：五十
20、至六十年代，1958年FRosenblatt设计制作了“感知机”，它是一种多层的神经网络。用于模拟一个生物视觉模型，第一次从理论研究转图工程实践阶段。这是第一个真正的神经网络，因为它在IBM704计算机上得到了成功的模拟。最初感知机的学习机制是自组织的，响应的发生与随机的初始值有关，后来加入了训练过程，这与后来的BP算法和Kohone自组织算法类似。当时，世界上不少实验室仿效感知机，设计出了各种各样的电子装置。1959年B.Widrow和M.Hoff发表了论文 Adaptive Switch Circuits ,提出了自适应线性元件网络，简称Adaline, Adaline实质上是一个二层前馈
21、感知机型网络。1962年，Rosenblatt出版了一本名为The Priciples of Neuro dynamics的书，书中详述了他的感知机。感知机具有输入层、输出层和中间层，它可以模仿人的特性，并用它做了实验。1967年，Stephen Grossberg通过对生理学的研究来开发神经网络模型，提出了一种网络称作Avalanche（雪崩网），这种网络可以连续语声识别和控制机器人手臂的运动。低潮时期：六十年代末至七十年代，1969年，Minsky和Paper等发表了专著Perceptrons，该书指出，简单的神经网络只能进行线性分类和求解一阶谓词问题，而不能进行非线性分类和解决比较复杂的
22、高阶谓词问题，如XOR、对称性判别和宇称等问题。在当时的技术条件下，解决此类问题是极其困难的。该书在学术界产生正反二方面的影响，它的副作用促使20世纪60年代人们对神经网络研究的热情骤然下降，迅速转入低潮。同时由于当时没有功能强大的数字计算机来支持各种实验，从而导致许多研究者离开这一研究领域，使神经网络的研究停滞了十多年。即使如此，20世纪70年代，科学家们仍然在该领域开展了许多重要的工作。19721年，芬兰的Kohonen开始从事随机连接变化表的研究工作。从1972年开始，他很快集中到联想记忆方面。1968年，Anderson具有基于神经元突触的激活联想记忆模型的ANS模型开始工作。1973
23、年和1977年又把LAM应用到诸如 识别、重构和任意可视模式的联想这样的问题上。这一时期，Stephen Grossberg在自组织网络方面的研究也十分活跃。同时，东京NHA广播科学研究室大阪大学教授Fukushima提出了一种称为Neocognitron的神经网络，它是一个视觉识别机制，与生物视觉理论相符合。第二次研究高潮：八十年代初至现在，前面我们讲过，在60年代，由于缺乏新思想和用于实验的高性能计算机，曾一度动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站的计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空
24、前高涨。有二个概念对神经网络的复兴具有极其重大的意义。其一是：用统计机解释某些类型的递归网络的操作，这类网络课作为两厢存储器。物理学家John Hopfiled 研究论文论述了这些思想。其二是：在20世纪80年代，几个不同的研究者分别开发出了用于训练多层感知机的反串算法。其中最有影响力的反传算法是David Rumelhart 和James McClelland提出的。该算法有力的回答了60年代Minsky和Papert对神经网络的责难。1982年生物物理学家J.Hoppield教授提出了Hoppield神经网络模型，引入了能量函数概念，这一成果的取得使神经网络的研究取得了突破性进展。84年他
25、用此模型成功地解决了复杂度为NP的旅行商问题(TSP)。 1987年6月在美国加州举行了第一届神经网络国际会议。有一千多名学者参加，并成立了国际神网络学会。后确定为每年召开两次国际联合神经网络大会。1990年我国的863高技术研究计划，批准了关于人工神经网络的三项课题，自然科学基金与国防科技预研基金也都把神经网络的研究列入选题指南，对中选的课题提供研究上的资助。如今，神经网络的应用，已渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。从众多应用研究领域取得的丰硕成果来看，人工神经网络的发展具有强大的生命力。当前存在的
26、问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足：网络分析与综合的一些理论性问题(如稳定性、收敛性的分析，网络的结构综合等)还未得到很好的解决。随着人们对大脑信息处理机理认知的深化，以及人工神经网络智能水平的提高，人工神经网络必将在科学技术领域发挥更大的作用。当今的自动控制技术都是基于反馈的概念。反馈理论的要素包括三个部分：测量、比较和执行。测量关心的变量，与期望值相比较，用这个误差纠正调节控制系统的响应。PID（比例-积分-微分）控制器作为最早实用化的控制器已有50多年历史，现在仍然是应用最广泛的工业控制器。PID控制器简单易懂，使用中不需精确的系统模型等先决条件，因而成为应用最
27、为广泛的控制器。PID控制器由比例单元（P）、积分单元（I）和微分单元（D）组成。在实际生产过程中，由于受到参数整定方法繁杂的困扰，因此常规PID控制的应用受到很大的限制和挑战。人们对PID应用的同时，也对其进行各种改进，主要体现在两个方面：一是对常规PID本身结构的改进，即变结构PID控制。如积分分离算法，抗积分饱和算法和微分项的改进等等。另一方面，与模糊控制、神经网络控制和专家控制相结合，扬长避短，发挥各自的优势，形成所谓智能PID控制。神经网络是一个由大量简单的处理单元广泛连接组成的系统，用来模拟人脑神经系统的结构和功能。它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮，再转入新的高
28、潮的曲折发展道路。20世纪80年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念的内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到了广泛的应用。科技发达国家的主要公司对神经网络芯片、生物芯片情有独钟。例如Intel公司、IBM公司和HNC公司已取得了多项专利，已有产品进入市场，被国防、企业和科研部门选用，许多公众手中也拥有神经网络实用化的工具，
29、其商业化令人鼓舞。神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和发展前景。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适用于处理需要同时考虑多因素和多条件的、不精确和模糊的信息处理问题。它主要应用领域有：语音识别、图像识别、计算机视觉、智能机器人、故障诊断、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经心理学、心理学和认知科学研究等等。 PID控制要取得较好的控制效果，就必须通过调整好比例、积分、微分三种控制作用，形成控制量中既有相互配合又相互制约的关系。这种关系不一定是简单的线性组合，从变化无穷的非线性组合
30、中可以找出最佳关系。神经网络所具有的任意非线性表达能力，可以通过对系统性能的学习来实现具有最佳组合的PID控制。因此基于神经网络的PID不仅能适应环境变化，且有较强的鲁棒性。2 神经网络2.1 神经网络的基本概念和特点人工神经网络(ANN，Artificial Neural Network)，又称并行分布处理模型或连接机制模型，是基于模仿人类大脑的结构和功能而构成的一种信息处理系统或计算机系统。神经网络系统是指利用工程技术手段，模拟人脑神经网络的结构和功能的一种技术系统，它是一种大规模并行的非线性动力学系统。由于它是由人工方式构造的网络系统，因此也称为人工神经网络系统。基于人工神经网络的控制简
31、称为神经网络控制。人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注： （1）能逼近任意L2上的非线性函数；（2）信息的并行分布式处理与存储；（3）可以多输入、多输出；（4）便于用超大规模集成电路或光学集成电路系统实现，或用现有的计算机技术实现；（5）能进行学习，以适应环境的变化；人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就 会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提 供经济预测、市场预测、效益预
32、测，其应用前途是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型 人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。 2.2 人工神经网络构成的基本原理神经网络是由一个或多个神经元组成的信息处理系统。对于具有m个输入节点和z个输出节点的神经网络，输入输出关系可以看作是m维欧氏空间到n维欧氏空间的映射模型，用数学形式表示为f：Y=f(x)，其中x，Y分别为输入、输出向量。网络实际输出与期望输出之间的误差是衡量所构造的网络模型的性能指标。神经元
33、是神经网络的基本处理单元，一般表现为一个多输入、单输出的非线性运算器件，网络结构可以由单个神经元的基本结构展现出来，主要包括三个基本要素：一组连接(对应于生物神经元的突触)，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制；一个求和单元，用于求取各输入信号的加权和(线性组合)；一个激活函数，起到非线性映射作用并将神经元的输出值幅度限制在一定范围内。此外还有一个附加的输入，称作阈值或偏置。自动控制理论经历了经典控制理论、现代控制理论，进入了智能控制理论的新阶段。PID控制是迄今为止最通用的控制方法，各种DCS、智能调节器等均采用该方法或其较小的变形来控制(至今在全世界过程控制中84仍
34、是纯PID调节器，若改进型包含在内则超过90)，尽管自1940年以来，许多先进控制方法不断推出，但PID控制以其结构简单，对模型误差具有鲁棒性及易于操作等优点，故仍广泛应用于各种工业过程控制中。在本章，首先对PID控制方法进行简要的概述，然后回顾了传统的常规PID控制系统一模拟PID控制系统和数字PID控制系统。在分析传统的常规PID控制存在的优缺点的基础上，给出了一些改进型PID控制器。2.3 神经网络的结构人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特性的系统。我们利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接形式而育，
35、目前己有数十种不同的神经网络模型，其中前馈网络和反馈型网络是两种典型的结构模型。2.3.1 前馈网络前馈型神经网络(Feed forward neural network)，又称前馈网络。如图所示，神经元分层排列，有输入层、隐层(亦称中间层，可有若干层)和输入层，每一层的神经元只接受前一层神经元的输入。从学习的观点看前馈网络是一种强有力的学习系统，其结构简单而且易于编程:从系统的观点，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的
36、前馈网络有感知器、BP网络等。图2-1 前馈型神经网络结构2.3.2 反馈网络反馈型神经网络(feedback neural network)，又称反馈网络，它的结构如下图所示。若总节点(神经元)数为N，则每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可以相互连接。反馈型神经网络是一种非线性动学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆(content addressable memory ,CAM)的功能，Hopfield神经网络还可以用来解决快速寻优问题。在反馈网络中，输入信号决定反馈系统的初始状
37、态，然后系统经过一系列的状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网络的Lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元，同时也可接收输入，并向外界输出。图2-2 反馈型神经网络结构2.4 神经网络的学习方式通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点，在一般情况下，性能的改进是按某种预定的度量通过调节自身参数(如权值)随时间逐步达到的，根据环境提供信息的多少，神经网络共有三种学习方式：监督学习(有教师学习)；非监督学习(无教师学
38、习)；再励学习(强化学习)。2.4.1 监督学习(有教师学习)为了使神经网络在实际应用中解决各种问题，必须对它进行训练。这种训练的过程需要有教师示教，提供数据，又称样板数据。在训练过程中又需要教师的监督，故这种有教师的学习又称有监督式学习。在这种学习中学习的结果，即网络的输出有一个评价的标准，网络将实际输出和评价标准进行比较，由其误差信号来调节系统权值。评价标准是由外界提供给网络的，相当于有一位知道正确结果的教师示教给网络，故这种学习又称为教师示教学习。在这种学习中网络的连接权值常根据规则进行调整。2.4.2 非监督学习(无教师学习)无教师学习是一种自组织学习，即网络的学习过程完全是一种自我学
39、习的过程，不存在外部教师的示教，也不存在外部环境的反馈指示网络应该输出什么或者是否正确，故又称之为无监督学习。所谓自组织学习就是网络根据某种规则反复地调整连接权以响应输入模式的激励，直到网络最后形成某种有序状态。自组织学习是靠神经元本身对输入模式的不断适应，抽取输入信号的规律（如统计规律)。一旦网络显现出输入数据的统计特征，网络就实现了对输入特征的编码，即把输入特征“记忆”下来，而且在记忆之后，当它再出现时，能把它识别出来。自组织学习能对网络的学习过程进行度量，并优化出其中的自由参数。可以认为，这种学习的评价准则隐含于网络内部。神经网络的这种自组织特性来源于其结构的可塑性。2.4.3 再励学习
40、(强化学习)再励学习是介于上述两种情况之间的一种学习方法。外部环境对系统输出的结果给出评价信息(奖或惩)而不是给出正确答案。学习系统通过强化那些受奖的动作来改善自身的性能。2.5 RBF神经网络2.5.1 RBF神经网络的发展简史Broomhead和Lowe最早将RBF用于神经网络设计之中。他们在1988年发表的论文Multivariable functional interpolation and adaptive networks中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的RBF神经网络。Moody和Darken在1989年发表文章Fast l
41、earning in network of locally-tunedprocessing units，提出一种含有局部响应特性的神经网络，这种网络实际上与Broomhead和Lowe提出的RBF神经网络是一致的，他们还提出了RBF神经网络的训练方法。以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如Chen提出的OLS(Orthogonal Least Squares)算法；S.Lee等人提出的HSOL (Hierarchically Self-Organizing Learning) 算法；Platt提出的RAN(Resource Allocating Network)在
42、线学习算法；Kadirkamanathan和Niranjan提出的RANEKF(RAN via Extended Kalman Filter)算法等。RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经网络结构的合理性可由 Cover 定理得到保证，即对于一个模式问题，在高维数据空间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激活函数，具有收敛速度快、逼近精度高、网络规模小等特点。2.5.2 RBF的数学模型RBF 神经网络通常是一种三层前向网络，RBF网络结构如下图所示。第一层是输出层，由信号源节点组成；第二层为隐含层，其节点基函数是一种局部分布
43、的、对中心径向对称衰减的非负非线性函数；第三层为输出层。图2-3 RBF神经网络结构图根据 RBF 神经网络结构分析，构成 RBF 神经网络的基本思想是：用 RBF 作为隐层神经元的“基”构成隐含层空间，这样就可将输入矢量直接映射到隐空间。当 RBF的中心确定后这种映射关系也就确定了。而隐含层空间到输出层空间的映射是线性的，即网络的输出是隐层神经元输出的线性加权和，此处的权值为网络的可调参数。从总体上来说，网络由输入到输出的映射是非线性的，而网络对可调参数而言是线性的。这样网络的权值就可由线性方程组解出或用 RLS(递推最小二乘)方法递推计算，从而加快学习速度并避免局部极小问题。2.5.3 被
44、控对象Jacobian信息的辨识算法在RBF网络结构中，为网络的输入向量。设RBF网络的径向基向量，其中为高斯基函数网络的第j个结点的中心矢量为，其中，i=1,2，n设网络的基宽向量为 为节点j的基宽度参数，且为大于零的数。网络的权向量为 辨识网络的输出为 辨识器的性能指标函数为 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下 式中，为学习速率，为动量因子。Jacobian阵（即为对象的输出对控制输入的灵敏度信息）算法为式中，2.5.4 RBF神经网络的学习算法通过分析 RBF 神经网络结构的特点，可以发现主要有两个因素决定结构：网络隐层神经元个数及其中心、隐层与输出层连接权值。
45、一般的算法都是充分利用的三层结构特点来设计学习算法，第一步确定网络隐层神经元个数与其中心，第二步确定网络的权值。这种两步训练算法的重要特点是在第二步可以直接利用线性优化算法，从而可以加快学习速度和避免局部最优，因此得到了广泛的应用，最近大多数的算法的改进也是围绕着这两个方面展开的。给定了训练样本，RBF 神经网络的学习算法应该解决以下问题：结构设计，即如何确定网络隐节点数；确定各径向基函数的数据中心及扩展常数；输出权值修正。一般情况下，如果知道了网络的隐节点数、数据中心和扩展常数，RBF 神经网络从输入到输出就成了一个线性方程组，此时权值学习可采用最小二乘法求解。根据数据中心的取值方法，RBF
46、 神经网络的设计方法可分为两大类：数据中心从样本输入中选取 这种方法数据中心从样本输入中选取，如正交最小二乘算法、正则化正交最小二乘算、进化优选算法等。这类方法的特点是数据中心一旦获得就不再改变，而隐节点的数目一开始就固定，或者在学习过程中动态调整。数据中心动态调节方法 这类方法数据中心的位置在学习过程中是动态调节的，如基于各种动态聚类。最常用的是k-means聚类或 Kohonen 提出的自组织映射(Self Organizing Feature Map，SOFM)方法、梯度下降法、资源分配网络等。这些方法各有优缺点：第 1 类算法较容易实现，且能在权值学习的同时确定隐节点的数目，并保证学习
47、误差不大于给定值，但数据中心从样本输入中选取是否合理，值得进一步讨论。另外，算法并不一定能设计出具有最小结构的RBF 神经网络，也无法确定基函数的扩展常数。第2类方法，聚类方法的优点是能根据各聚类中心之间的距离确定各隐节点的扩展常数，缺点是确定数据中心时只用到了样本输入信息，而没有用到样本输出信息；另外聚类方法也无法确定聚类的数目(RBF 神经网络的隐节点数)。由于 RBF 网的隐节点数对其泛化能力有极大的影响，所以寻找能确定聚类数目的合理方法是聚类方法设计 RBF神经网络时需首先解决的问题。本文采用RBF的梯度下降法，所以下面主要介绍 RBF 学习的梯度下降法。在以下 RBF神经网络学习算法中为样本输入，相应的样本输出为网络中第j个隐节点的激活函数为。该方法是最经典的 RBF 神经网络学习算法，由 Moody 与 Darken 提出，其思路是先用自组织学习算法对样本输入进行聚类，确定 RBF 神经网络中h个隐节点的中心，并根据各数据中心之间的距离确定隐节点的宽度，然后使用有监督学习训练各隐节点的输出权值。虽然可以用批处理来完成上