最新第5章 神经网络和神经网络控制-PPT文档.ppt

《最新第5章 神经网络和神经网络控制-PPT文档.ppt》由会员分享，可在线阅读，更多相关《最新第5章 神经网络和神经网络控制-PPT文档.ppt（100页珍藏版）》请在三一文库上搜索。

1、推荐课后阅读资料,Simon Haykin.神经网络的综合基础(第2版). 清华大学出版社,2001 Martin T.Hagan.神经网络设计.机械工业出版社,2002,2,5.1 概述,5.1.1 生物神经元模型 5.1.2 人工神经元模型 5.1.3 人工神经网络模型 5.1.4 神经网络的学习方法,3,5.1.1 生物神经元模型,人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元

2、与外部之间的多种多样的连接方式也蕴含了变化莫测的反应方式。,5,6,从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：,时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳,5.1.1 生物神经元模型,8,5.1.2 人工神经元模型,人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。,9,10,其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j 到神经元i 的连接权值； 为阈值； 称为激发

3、函数或作用函数。,5.1.2 人工神经元模型,11,激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b） 2. 饱和型函数（见图（c） 3. 双曲函数（见图（d） 4. S型函数（见（e） 5. 高斯函数（见图（f）,5.1.2 人工神经元模型,12,神经元处理活性的理想模式,14,5.1.3 人工神经网络模型,人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和

4、近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。,15,(1). 前馈型神经网络,前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。,16,从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力

5、和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。,(1). 前馈型神经网络,17,18,(2). 反馈型神经网络,反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。,19,反馈神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆（Content一Addressible Memory，CAM）的功能，同时Hopfield神经网络还可以用来解决快速寻优问题。,(2).

6、反馈型神经网络,20,21,5.1.4 神经网络的学习方法,学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。目前神经网络的学习方法有多种，按有无教师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。,在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞

7、争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。,5.1.4 神经网络的学习方法,22,23,神经网络中常用的几种基本学习方法,(1). Hebb学习规则 两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则。 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。,24,(2)Delta（）学习规则 规则可以误差函数达到最小值。但学习规则只适用于线性可分函数，无法用于多层网络。BP网络学习算法称为BP算法，是在规则基础上发展起来的，可在

8、多网络上有效地学习。,神经网络中常用的几种基本学习方法,25,(3)竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引入竞争机制的学习方式称为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。,神经网络中常用的几种基本学习方法,26,5.2 前向神经网络,5.2.1 感知器网络 感知器是一个具有单层神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。它主要用于模式分类，单层的感知器网络结构如下图所示。,27,

9、28,感知器的一种学习算法：,随机地给定一组连接权； 输入一组样本和期望的输出（亦称之为教师信号）； 计算感知器实际输出； 修正权值； 选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。,单层感知器-与运算,y=f(v),f(v),x1,b,x2,w1,w2,1,1,=10.1+10.1=0.2,= -0.4,y=0,b= -0.6,=0.1,=0.1,误差e=d-y=1,设学习率 为0.6,29,30,5.2.2 BP网络,误差反向传播神经网络，简称BP网络（Back Propagation），是一种单向传播的多层前向网络。在模式识别、图像处理、系统辨

10、识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。如图是BP网络的示意图。,5.2 前向神经网络,31,32,误差反向传播的BP算法简称BP算法，其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。,5.2 前向神经网络,BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使输出误差信号最小。,5.2 前向神经网络,

11、33,激活函数 必须处处可导 一般都使用S型函数 使用S型激发函数时BP网络输入与输出关系 输入 输出,5.2 前向神经网络,34,输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内,5.2 前向神经网络,35,BP网络的标准学习算法,学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,36,学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输

12、入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法,37,BP网络的标准学习算法-学习过程,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,38,BP网络的标准学习算法,输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向

13、量; 期望输出向量;,39,BP网络的标准学习算法,输入层与隐含层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激发函数: 误差函数：,40,BP网络的标准学习算法,第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出,41,BP网络的标准学习算法,第三步，计算隐含层及输出层各神经元的输入和输出,42,BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。,43,BP网络的标准

14、学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。,44,BP网络的标准学习算法,45,BP网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,46,BP网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,47,BP网络的标准学习算法,第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,48,BP网络的标准学习算法,解释 情

15、况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。,49,BP网络的标准学习算法,解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。,50,BP神经网络的特点,非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式提供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时输入未曾见过的

16、非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误时对网络的输入输出规律影响很小。,51,52,53,在使用BP算法时，应注意的问题是： 1) 学习开始时，各隐含层连接权系数的初值应以设置较小的随机数较为适宜； 2) 采用S型激发函数时，由于输出层各神经元的输出只能趋于1或0，不能达到1或0。在设置各训练样本时，期望的输出分量dk不能设置为1或0。,5.2 前向神经网络,在设计BP网络时，应考虑的问题是： 1) 网络的层数。增加层数可降低误差，但会使网络复杂化，增加网络的训练时间。一般采用增加隐层中神经元数目的方法来

17、提高精度，其训练效果也更容易观察和调整。,5.2 前向神经网络,54,2) 隐层神经元数。理论上没有明确规定，通常是通过对不同节点数进行训练对比，然后加上适当余量。,5.2 前向神经网络,3) 初始权值的选取。一般取（-1，1）之间的随机数。,55,4) 学习速率。为保证系统稳定性，学习速率一般取0.01-0.8。,5.2 前向神经网络,5) 期望误差。合适的期望误差应通过对比训练后确定。,56,小 结,神经网络的用途,57,单个神经元的神经网络,输入,神经元,输出,x11,x1n,x12,X1,58,神经网络的工作原理,xi(i=1,2,n)是输入，wi为该神经元与各输入间的连接权值，为阈值

18、，yo为输出 (1)从各输入端接收输入信号xi (2)根据各连接权值wi求出所有输入的加权和yi ： yi wi xi (3)利用某一特征函数f 进行变换，得到输出yo ： yo= f(yi)f( wi xi ),59,神经元间连接权值的含义,连接权wij通常在-1,1之间取值： wij 0，称为正连接，表示神经元j对i有激活作用 wij 0，称为负连接，表示神经元j对i有抑制作用 神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。,60,感知器的局限,只能解决线性可分问题,61,逻辑异或问题线性不可分,在二维空间中没有可分离点集 (0，0)，（1，1）和

19、(0，1)，（1，0）的直线,62,逻辑异或问题线性不可分,考虑一感知器，其输入为X1，X2；权值为 W1，W2 ；阈值是。为了学习这个函数，网络必须找到这样一组值，它满足如下的不等式方程： W1*1 W2*1 ， 真值表的第二行； 0W2*1 , 真值表的第三行； 00 或为正数， 真值表的最后一行。 此不等式方程组无解，这就证明了感知器不能解决异或问题。问题不是线性可分的，这是异或问题不能用感知器来解决的原因。,63,BP网络学习算法,初始值选择 前向计算，求出所有神经元的输出 对输出层计算 从后向前计算各隐层 计算并保存各权值修正量： 修正权值： 判断是否满足结束条件，不满足转至2，否则

20、算法结束,64,BP神经网络求解异或问题网络结构,设初始权值全部为0.5，阈值为0，学习率为0.5，输入层到隐含层，隐含层到输出值的激活函数为单极SIGMOID函数，要求误差e为0.1,65,BP神经网络求解异或问题的权值调整,输入样本（1，1，0）时，求解各对应参数： 各神经元的输出,66,BP神经网络求解异或问题的权值调整,反向传播调整各权值 隐含层与输出层之间的权值调整计算：,67,BP神经网络求解异或问题的权值调整,反向传播调整各权值 输入层与隐含层之间的权值调整计算：,68,BP神经网络求解异或问题的权值调整,反向传播调整各权值 输入层与隐含层之间的权值调整计算：,69,BP神经网络

21、求解异或问题的权值调整,计算误差： 因为误差没有达到预定要求，进入下一轮权值调整循环,70,71,5.2.3 BP网络学习算法的改进,(1) 多层前向BP网络的优点： 1) 网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题； 2) 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力。,72,(2) 多层前向BP网络的主要问题： 1) BP算法的学习速度很慢； 2) 网络训练失败的可能性较大； 3) 难以解决应用问题的实例规模和网络规模间的矛盾； 4) 网络结构的选择尚无一种统一而完

22、整的理论指导，一般只能由经验选定；,5.2.3 BP网络学习算法的改进,5) 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同； 6) 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。,5.2.3 BP网络学习算法的改进,73,74,(3) BP网络学习算法的改进,1) 增加惯性项；,5.2.3 BP网络学习算法的改进,在每一次对连接权及阈值进行校正时，按一定比例加上前一次学习时的校正量，即惯性项： w （n + 1） = d+ w（n） （01）：惯性系数，d：本次应校正量，w（n）：前次校正量。,当前一次的校正量过调时，惯性

23、项与d的符号相反，使本次实际校正量减小；当前一次的校正量欠调时，惯性项与d的符号相同，使本次实际校正量增加。,5.2.3 BP网络学习算法的改进,75,5.2.3 BP网络学习算法的改进,惯性系数是变量，随着校正的不断进行，惯性系数逐渐增大： w （ n + 1） = d+ （n+1）w（n） （n+1）=（n）+ 一般，取小于0.9左右。 这一改进的目的是使被校正量随着学习进程的发展，逐渐沿前一次校正方向变化。 也有采用惯性系数按指数形式增长的校正方法。,改进的惯性校正法：,76,2）S函数输出限幅算法,连接权的校正量wkj、vkj，都与中间层的输出yj有关，有yj（1-yj）这一项。当yj

24、为1或0时，调节量都为0，不起校正作用。在相当次数的学习过程中，真正的校正量很小。,5.2.3 BP网络学习算法的改进,77,为此，限制S函数的输出，是加快网络校正的有效方法。当S的实际输出小于某数如0.01或大于某数如0.99时，将其输出值直接取为0.01或0.99。保证每次学习都能进行有效的校正，从而加快收敛过程。,5.2.3 BP网络学习算法的改进,78,3）累积误差校正算法：,一般的BP算法称为标准误差逆传播算法，这种算法偏离了真正全局误差意义上的梯度下降。真正的全局误差意义上的梯度算法，称为累积误差校正算法。即分别计算出M个学习模式的一般化误差，并将这M个误差进行累加，用累加后的误差

25、校正各层间的连接权值及各个阈值。,5.2.3 BP网络学习算法的改进,79,5.2.3 BP网络学习算法的改进,与标准误差逆传播算法相比，每个连接权与阈值的校正次数明显减少（每一次学习减少M-1次校正），学习时间也随之缩短。 问题：将各个学习模式的误差平均化，某些情况下易引起网络的振荡。,80,4) 采用动态步长； 与其他全局搜索算法相结合； 限制连接权的取值范围，避免学习过程的振荡； 7) 模拟退火算法等。,5.2.3 BP网络学习算法的改进,81,82,5.2.4 神经网络的训练,在实际应用中，目前尚未找到较好的网络构造方法，确定网络的结构和权值参数，来描述给定的映射或逼近一个未知的映射，

26、只能通过学习来得到满足要求的网络模型。,83,神经网络训练的具体步骤如下,(1) 获取训练样本集 获取训练样本集合是训练神经网络的第一步，也是十分重要和关键的一步。它包括训练数据的收集、分析、选择和预处理等。 (2) 选择网络类型与结构 神经网络的类型很多，需要根据任务的性质和要求来选择合适的网络类型。 (3) 训练与测试 利用获取的训练样本对网络进行反复训练，直至得到合适的映射结果。,84,5.3 反馈神经网络,反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上

27、。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。,85,5.3.1 离散Hopfield网络,(1) 网络的结构和工作方式 离散Hopfield网络是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。 各节点没有自反馈，每个节点都附有一个阈值。每个节点都可处于一种可能的状态（1或1），即当该神经元所受的刺激超过其阈值时，神经元就处于一种状态（比如1），否则神经元就始终处于另

28、一状态（比如1）。,86,87,5.3.2 连续Hopfield网络,连续Hopfield 网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，它可以用一组非线性微分方程来描述。当给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系统是稳定的，则它最终可收敛到一个稳定状态。,88,5.3.3 Boltzmann机,(1) Boltzmann机网络结构和工作方式 Boltzmann机网络是一个相互连接的神经网络模型，具有对称的连接权系数，及wijwji且wii=0。网络由可见单元和隐单元构成。可见单元由输入、输出部分组成。每个单元节点只取1或0两种状态。1代表接通或接

29、受，0表示断开或拒绝。当神经元的输入加权和发生变化时，神经元的状态随之更新。各单元之间状态的更新是异步的。,89,与Hopfield网络相似，Boltzmann机的实际运行也分为两个阶段： 第一阶段是学习和训练阶段，即根据学习样本对网络进行训练，将知识分布地存储于网络的连接权中； 第二阶段是工作阶段，即根据输入运行网络得到合适的输出，这一步实质上是按照某种机制将知识提取出来。,5.3.3 Boltzmann机,90,(2) 网络的学习和训练 网络学习的目的是通过给出一组学习样本，经学习后得到Boltzmann机各种神经元之间的连接权wij . Boltzmann机网络学习的步骤可归纳如下： 1

30、). 随机设定网络的连接权wij(0)及初始高温。 2). 按照已知的概率p(x)，依次给定学习样本。在样本的约束下，按照模拟退火程度运行网络，直至达到平衡状态，统计出各pij。在无约束条件下，按同样的步骤并同样的次数运行网络，统计出各pij。 3). 按下述公式修改权值 wij(k+1)=wij(k)+(pij-pij), 0 4). 重复上述步骤，直到pij-pij小于一定的容限。,91,5.4 神经网络PID控制,尽管神经网络控制技术有许多潜在的优势，但单纯使用神经网络的控制方法的研究仍有待进一步发展。通常将人工神经网络技术与传统的控制理论或智能技术综合使用。神经网络在控制中的作用有以下

31、几种： 1在传统的控制系统中用以动态系统建模，充当对象模型； 2在反馈控制系统中直接充当控制器的作用； 3在传统控制系统中起优化计算作用； 4与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融合。,92,5.4.1 基于BP神经网络控制参数自学习PID控制,BP神经网络具有逼近任意非线性函数的能力，而且结构和学习算法简单明确。通过神经网络自身的学习，可以找到某一最优控制律下的P，I，D参数。基于BP神经网络的PID控制系统结构如图所示，控制器由两个部分组成：经典的PID控制器：直接对被控对象进行闭环控制，并且KP,KI,KD三个参数为在线整定；神经网络NN：根据系统的运行状态，调节PID控

32、制器的参数，以期达到某种性能指标的最优化。即使输出层神经元的输出状态对应于PID控制器的三个可调参数KP,KI,KD，通过神经网络的自学习、调整权系数，从而使其稳定状态对应于某种最优控制律下的PID控制器参数。,93,94,基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN

33、的输入； 4). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 5). 计算PID控制器的控制输出u(k)，参与控制和计算； 6). 计算修正输出层的权系数w(3)li(k)； 7). 计算修正隐含层的权系数w(2)ij(k)； 8). 置k=k+1，返回到“2）”。,95,5.4.2 改进型BP神经网络控制参数自学习PID控制,将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象

34、的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。,96,(1)采用线性预测模型的BP神经网络PID控制器,97,采用线性预测模型的BP神经网络PID控制系统算法如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 用线性系统辨识法估计出参数矢量(k)，从而形成一步预报模型式； 3). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 4). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN

35、的输入；,5). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 6). 计算PID控制器的控制输出u(k)，参与控制和计算； 7). 计算 和 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。,98,采用线性预测模型的BP神经网络PID控制系统算法如下：,99,(2)采用非线性预测模型的BP神经网络PID控制器,100,基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点

36、数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入； 4). 前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 5). 计算PID控制器的控制输出u(k)，参与控制和计算； 6).前向计算NNM的各层神经元的输入和输出，NNM的输出为 ，计算修正隐含层和输出层的权系数； 7).计算 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。,