高级神经网络.ppt

《高级神经网络.ppt》由会员分享，可在线阅读，更多相关《高级神经网络.ppt（61页珍藏版）》请在三一文库上搜索。

1、第8章 高级神经网络,8.1 模糊RBF网络,经验知识基础,模糊集 隶属度函数 模糊规则设计,模糊系统,学习机制,将学习机制引到模糊系统中，使模糊系统能够通过不断学习 来修改和完善隶属函数和模糊规则，是模糊系统的发展方向,模糊系统与模糊神经网络既有联系又有区别，其联系表现为模糊神经网络在本质上是模糊系统的实现，其区别表现为模糊神经网络又具有神经网络的特性 神经网络与模糊系统的比较见表8-1。模糊神经网络充分地利用了神经网络和模糊系统各自的优点，因而受到了重视,表8-1 模糊系统与神经网络的比较,将神经网络的学习能力引到模糊系统中，将模糊系统的模糊化处理、模糊推理、精确化计算通过分布式的神经网络

2、来表示是实现模糊系统自组织、自学习的重要途径 在模糊神经网络中，神经网络的输入、输出节点用来表示模糊系统的输入、输出信号，神经网络的隐含节点用来表示隶属函数和模糊规则，利用神经网络的并行处理能力使得模糊系统的推理能力大大提高,模糊神经网络在本质上是将常规的神经网络赋予模糊输入信号和模糊权值，其学习算法通常是神经网络学习算法或其推广。模糊神经网络技术已经获得了广泛的应用，当前的应用主要集中在以下几个领域：模糊回归、模糊控制、模糊专家系统、模糊矩阵方程、模糊建模和模糊模式识别 模糊神经网络是将模糊系统和神经网络相结合而构成的网络。利用RBF网络与模糊系统相结合，构成了模糊RBF网络,输出层(o),

3、模糊推理层(k),模糊化层(j),输入层(i),图8-1 模糊RBF神经网络结构,采用图8-1所示的模 糊神经网络系统，其 模糊推理系统主要由 输入层、模糊化层、 模糊相联层、模糊后 相连层和输出层构成,8.1. 1 网络结构,模糊RBF网络中信号传播及各层的功能表示如下： 第一层：输入层 该层的各个节点直接与输入量的各个分量连接，将输入量传到下一层。对该层的每个节点i的输入输出表示为：,第二层：隶属函数层，即模糊化层 该层的每个节点具有隶属函数的功能，采用高斯 函数作为隶属函数。对第j个节点： 其中 和 分别是第i个输入变量的第j个模糊集 合高斯函数的均值和标准差。,第三层：规则层，即模糊推

4、理层 该层通过与模糊化层的连接来完成模糊规则的匹 配，各个节点之间实现模糊运算，即通过各个模糊 节点的组合得到相应的点火强度。每个节点j的输 出为该节点所有输入信号的乘积，即,其中 ， 为输入层中第i个输入隶属函数的个数，即模糊化层节点数。,第四层：输出层 该层的每个节点的输出为该节点所有输入 信号的加权和，即 其中l为输出层节点的个数，W为输出节点 与第三层各节点的连接权矩阵。,在此模糊神经网络中，可调参数有三类：一类为规则的权系数 ；第二类和第三类为高斯函数的均值 和标准差 ，即输入隶属函数的参数。,在此模糊神经网络中，可调参数有三类： 第一类为规则的权系数 第二类为高斯函数的均值 第三类

5、标准差 ，即输入隶属函数的参数,图8-2 模糊RBF神经网络逼近,8.1.2 基于模糊RBF网络的逼近算法 采用模糊RBF网络逼近对象，取网络结构为2-4-1，如图8-2所示。,取 ， 和 分别表示网络输出和理想输出。网络的输入为u(k)和y(k)，网络的输出为 ，则网络逼近误差为： 采用梯度下降法来修正可调参数，定义目标函数为：,网络的学习算法如下： 输出层的权值通过如下方式来调整:,则输出层的权值学习算法为：,其中 为学习速率， 为动量因子,输入隶属函数参数修正算法为：,其中,隶属函数参数学习算法为：,8.1.3 仿真实例,使用模糊RBF网络逼近对象： 其中采样时间为1ms。 模糊RBF网

6、络逼近程序见chap8_1.m。,8.2 Pi-Sigma神经网络 模糊建模技术缺点是过分地依赖隶属函数的准确性。采用高木-关野模糊系统，用一种混合型的pi-sigma神经网络，可以建立一种自适应能力很强的模糊模型。这种模型不但实现了模糊模型的自动更新，而且能不断修正各模糊子集的隶属函数，使模糊建模更具合理性。,8.2.1 高木-关野模糊系统 在高木-关野模糊系统中，高木和关野用以下“ ”规则的形式来定义模糊系统的规则：,：If is ， is ， ， is then,对于输入向量，高木-关野模糊系统的各规则输出 等于各 的加权平均：,式中，加权系数 包括了规则 作用于输入所取得的值。,8.2

7、.2 混合型pi-sigma神经网络 常规的前向型神经网络含有求和节点，这给处理某些复杂问题带来了困难。 一种基于混合型pi-sigma神经网络模型如图8-5所示，在该网络中，输入神经元有4个，S、P和分别表示相加、相乘和相乘运算。,图8-5 具有4个输入的混合型pi-sigma神经网络,显然，这种结构的神经网络属于高木-关野模糊系统采用该网络实现的模糊系统可方便地在线修正隶属函数和参数，适合于复杂系统的模糊预测和控制。 为方便神经网络的学习，各模糊子集的隶属函数均取高斯型，即：,网络的输出为：,混合型pi-sigma神经网络学习算法： 假设网络的期望输出为 ，定义代价函数,根据梯度下降法有：

8、,其中,对 有：,其中,其中、为学习速率,8.2.3 仿真实例 使用混合型pi-sigma神经网络逼近对象：,混合型pi-sigma神经网络逼近程序见chap8_2.m,8.3 小脑模型神经网络 8.3. 1 CMAC概述 小脑模型神经网络（CMAC-Cerebellar Model Articulation Controller）是一种表达复杂非线性函数的表格查询型自适应神经网络，该网络可通过学习算法改变表格的内容，具有信息分类存储的能力。,CMAC比其它神经网络的优越性体现在 小脑模型是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权极少，在保证函数非线性逼近性能的前提下，

9、学习速度快，适合于实时控制 具有一定的泛化能力，即所谓相近输入产生相近输出，不同输入给出不同输出 具有连续（模拟）输入输出能力 采用寻址编程方式，在利用串行计算机仿真时，它将使响应速度加快 CMAC函数非线性逼近器对学习数据出现的次序不敏感,由于CMAC所具有的上述优越性能，使它比一般神经网络具有更好的非线性逼近能力，更适合于复杂动态环境下非线性实时控制的要求， CMAC神经网络的结构如图8-8所示,图8-8 CMAC神经网络结构,8.3.2 一种典型CMAC算法 CMAC网络由输入层，中间层和输出层组成。在输入层与中间层、中间层与输出层之间分别为由设计者预先确定的输入层非线性映射和输出层权值

10、自适应性线性映射。 CMAC神经网络的设计主要包括输入空间的化分、输入层至输出层非线性映射的实现及输出层权值学习算法。,CMAC是前馈网络，输入输出之间的非线性关系由以下两个基本映射实现。 （1）概念映射（UAC） 概念映射是从输入空间U至概念存储器AC的映射。 设输入空间向量为 ，量化编码为 ，输入空间映射至AC中c个存储单元（c为二进制非零单元的数目）。,采用下式表示映射后的向量： Rp=S(up)=s1(up),s2(up),sc(up)T 式中 sj(up)=1 , j=1,2,c 映射原则为：在输入空间邻近的两个点，在AC中有部分的重叠单元被激励。距离越近，重叠越多；距离越远的点，在

11、AC中不重叠，这称为局域泛化，c为泛化常数。,（2）实际映射 （AC AP） 实际映射是由概念存储器AC中的c个单元，用杂散编码技术映射至实际存储器AP的c个单元，c个单元中存放着相应权值。网络的输出为AP中c个单元的权值的和 只考虑单输出： 即,CMAC采用的学习算法如下： 采用学习规则调整权值，权值调整指标为,由梯度下降法，权值按下式调整：,其中,其中 为惯性系数,8.3.3 仿真实例,采用CMAC网络逼近非线性对象：,取u(k)作为网络的输入，采用线性化函数对输入状态进行量化，实现CMAC的概念映射：,其中xmin和xmax输入的最大最小值，M为xmax量化后所对应的最大值，round(

12、)为四舍五入的Matlab函数。,采用杂散编码技术中的除留余数法实现CMAC的实际映射。设杂凑表长为m，以元素值s(k)+i除以某数N（N=m）后所得余数+1作为杂凑地址，实现了实际映射，即,其中 。 在仿真中，取M=100，N=7，取泛化参数c=7,=1.5,=0.05。 CMAC网络逼近程序为chap8_3.m,8.4 Hopfield神经网络 8.4.1 Hopfield网络原理 1986年美国物理学家J.J.Hopfield利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程。,基本的Hopfield神经网

13、络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在时刻的输出状态实际上间接地与自己的时刻的输出状态有关。,反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候 Hopfield神经网络的能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值,如果把一个最优化问题的

14、目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题 Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，如图8-10所示。,图8-10 Hopfield网络模型,如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。,对于Hopfield神经网络第i个神经元，采用微分方程建立其输入输出关系，即：,其中g()为双曲函数，一般取为： 为n个神经元的网络状态向量； 为网络的输出向量； 为网络的输入向量。,定义Hopfield网络的Lya

15、punov能量函数为,若权值矩阵 是对称的（ ），则,由于 ,则,由于 ，双曲函数是单调上升函数，显然它的反函数 也为单调上升函数，即有 ，则可得到 ，即能量函数 ， 具有负的梯度，当且仅当 时, ，（ ）。,由此可见，随着时间的演化，网络的解在状态空间中总是朝着能量EN减少的方向运动。网络最终输出向量V为网络的稳定平衡点，即EN的极小点。 Hopfield网络在优化计算中得到成功应用，有效地解决了著名的旅行推销商问题（TSP问题），另外，它在智能控制和系统辨识中也有广泛应用。,8.4.2 基于Hopfield网络的自适应控制,1. 系统描述 被控对象为一阶系统：,即 其中 为转动惯量， 为控

16、制输入，实际速度为 。,取速度指令为 ，将控制器设计为“P控制+前馈控制 ”的形式： 整理得：,令 , ,则,其中F和G为待定控制器参数，可采用Hopfield网络进行辨识。,2. 基于Hopfield网络的控制器优化 所采用的hopfield网络结构如图8-11所示。,图8-11 Hopfield网络结构,控制系统的能量函数取 将 表达式代入上式并展开得：,取Hopfield网络输出神经元数为2，假设输入电阻无穷大，此时Hopfield网络的标准能量函数为：,将 展开，得：,令 ，得：,当Hopfield网络处于平衡状态时，能量函数最小，由网络权值对称得 ，此时,由上两式得：,由上两式得：,连接权矩阵 和外部输入 如下：,标准Hopfield网络的动态方程为：,取 ，将所求的 和 代入上式得：,取神经元输出的非线性特性为双曲函数，即 其中 。,网络实际输出为：,由于 ， ，则,同理可得：,求解微分方程，可得到优化后的F、G，从而实现 和 的整定。,3 仿真实例 被控对象为一阶系统：,其中 ，,Hopfield网络的自适应控制程序包括主程序chap8_4sim.mdl、控制器S函数程序chap8_4s.m、被控对象S函数程序chap8_4plant.m和作图程序chap8_4plot.m,