工智能及专家系统敖志刚第11章基于神经网络的专家系统-PPT文档.ppt

《工智能及专家系统敖志刚第11章基于神经网络的专家系统-PPT文档.ppt》由会员分享，可在线阅读，更多相关《工智能及专家系统敖志刚第11章基于神经网络的专家系统-PPT文档.ppt（58页珍藏版）》请在三一文库上搜索。

1、敖志刚 编制,第11章 基于神经网络的专家系统,第11章 基于神经网络的专家系统,111 神经网络的概念与模型 1111 生物神经元 1112 人工神经网络 112 神经网络模型和算法 1121 感知器的学习结构与算法 1122 B-P模型 1123 Hopfield模型 1124 典型的人工神经网络模型 113 神经网络专家系统 1131 基于神经网络的知识表示与推理 1132 基于神经网络的故障诊断专家系统,111 神经网络的概念与模型,神经网络(NN)是指由大量神经元互连而成的网络，包括生物NN与人工神经网络(ANN)两个方面。 所谓生物NN是指由中枢神经系统(脑和脊髓)及周围神经系统(

2、感觉神经、运动神经、交感神经、副交感神经等)所构成的错综复杂的NN，其中最重要的是脑神经系统。 ANN是指运用大量的简单处理单元(神经元)，由人工方式建立起来的，经广泛并行互连所构成的人工网络。它的组织能够模拟生物设计系统的真实世界物体的交互作用，能够模拟人脑神经系统的结构和功能。一般可采用VLSI、光器件、分子器件构造人工神经元。,1111 生物神经元,神经元的一些重要特性, 动态极化：每一神经元的信息都是以预定方向流动的。 时空整合处理功能。 神经元具有两种常规工作状态：即兴奋状态与抑制状态。 结构的可塑性。 脉冲与电位转换：突触界面具有脉冲/电位信号转换功能。 响应不应期：细胞在相邻的二

3、次冲动之间对激励不响应、不能传递神经冲动。,1112 人工神经网络,1. 神经网络研究的发展历史 1890年，美国生物学家W.James出版了生理学一书。 1943年McCulloch和Pitts提出M-P模型。 1949年Donala U.Hebb提出突触联系强度可变的假设。 1957年Frank Rosenblatt定义了一个NN结构，称为感知器(Perceptron)。 1960年威德罗和霍夫率先把NN用于自动控制研究。 70年代, 日本Fukusima的Neocognitron； 芬兰Kohonen的自组织NN；Stephen Crossberg的共振自适应理论ART网络等。 1982

4、年John J. Hopfield提出了全连接网络，离散的NN模型，并证明了网络可达到稳定的离散和连续两种情况。 1986年美国的一个平行计算研究小组提出了前向反馈NN的Back Propagation（BP）学习算法。 1987年在美国召开了第一届世界NN大会1000人参加。 88年日本国际贸易工业省提出以NN为核心的NN计算机的研究计划。,2. 人工神经网络的属性, 非线性：人工神经元处于激活或抑制两种状态，在数学上表现为一种非线性。 非局域性：一个系统的整体行为主要通过单个神经元和单元之间的大量连接模拟大脑的非局域性。 非定常性：NN是在不停地变化以适应外界环境的变化，可以通过样本提示来

5、模拟环境变换。 非凸性：非凸性是指某个特定的状态函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。,3. 人工神经网络的主要特点, 能较好地模拟人的形象思维、人脑神经系统结构和功能，对信息进行并行分布处理。 具有大规模并行协同处理能力。组合简单的、数量巨大的神经元进行并行、协同的工作和集体计算。 具有较强的容错能力和联想能力。当少量神经元或它们的连接发生故障时，对网络功能的影响是很微小的，这使得网络在整体上具有较强的鲁棒性(硬件的容错性)。 具有较强的学习能力。 适应性集成。NN能够适应在线运行，并能同时进行定量和定性操作。 硬件实现。NN不仅能够通过软件而且可借助软件实

6、现并行处理。,人工智能与神经网络之间的对比,神经网络计算机和数字电子计算机的主要区别,4ANN的优缺点,优点包括： 信息处理是并行性的； 知识的存储是分布的； 具有联想、模糊推理、自适应或自学习的能力，可以通过训练，自动总结规律； 局部错误对整体不会带来严重的影响，能够处理不完善的问题； 能够很好地完成多变量模式识别； 能从部分样本中学到的知识推广到全体祥本； 能通过采用直接的(有时是不精确的)数值数据进行训练，并能自动地确定原因-结果关系。 存在许多问题：如训练时间长，需大量训练数据，不能保证最佳结果，不能保证完全可靠，容易陷入局部极小，不具备增量学习能力，联想存储网络容量小，所存储的信息相

7、互干扰和退化，不适合于高精度计算，没有很完善的学习方法，经验参数太多。在实际应用中，也存在许多问题，如难以设计通用的神经元网络芯片，大量的、动态的神经元互联实现困难等。,5. 人工神经网络的分类, 按网络的拓扑结构划分：ANN可分为单纯的阶层网络、具有反馈的阶层网络、层内互联的阶层网络、相互连接型网络。 按网络的学习方法划分：可分为有师学习网络、无师学习网络和强化学习网络。 有师学习算法能够根据期望的和实际的网络输出之间的差来调整神经元间连接的强度或权。无师学习算法不需要知道期望输出。 按网络的性能划分：可以分为连续型与离散型网络；或分为确定型与随机型网络。 按连接突触的性质划分，可分为一阶线

8、性关联网络与高阶非线性关联网络。,6. NN的学习规则,第一类称为相关学习规则。这种规则只根据连接间的激活水平改变权系数。 第二类称为纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。例如BP算法，用于统计性算法的模拟退火算法也属于这种学习规则。 第三类称为无教师学习规则。它是一种对输入测检进行自适应的学习规则。,7. 人工神经网络的研究与应用, 生物原型研究：从生理学、心理学、解剖学、脑科学、病理学等生物科学方面，从定性与定量、静态与动态、微观与宏观等各种观察角度，研究NN、神经细胞、神经系统的生物原型的微观和宏观结构及功能机理，探明脑中物理平面向认知平面映射的原理。 ANN模型的研究

9、：包括NN的概念模型、理论模型、知识模型、物理化学模型、数学模型、算法模型、联想记忆模型等。 NN基本理论的研究。非线性特性；特征分析：包括网络的拓扑结构、网络容量、计算能力、算法分析；基本性能：包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性； 认知科学的研究：探索包括感知、思考、记忆和语言等的脑信息处理模型以及联想存储、思维机制、模糊输入、随机输入、不全信息输入和动态连接机制等方法。,7. 人工神经网络的研究与应用, NN的软件模拟和硬件实现。 寻找使用软硬件方法实现NN计算机及其仿真系统的途径。 ANN在智能信息处理方面的应用。 认知与人工智能； 优化与控制； 信号处理； 传感器信息处理

10、。 ANN在军事领域的应用。包括无人驾驶飞机、车辆，航天器姿态控制、导弹的智能引导、卫星图片的识别、脸谱和指纹识别等。,8. 人工神经元的功能表示和结构,人工神经元的功能表示类似生物神经元，其功能可用图11-3来表示。,8. 人工神经元的功能表示和结构,根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即MP模型，如图11-4所示。,9. 人工神经元网络的互连结构,112 神经网络模型和算法,121 感知器的学习结构与算法 1. 感知器的学习结构 感知器的学习是NN最典型的学习。一个有教师的学习系统可以用图11-6表示。,121 感知器的学习结构与算法,学习机构可用图

11、11-7所示的结构表示。在图中，Xl，X2，Xn是输入样本信号，W1，W2，Wn是权系数。u=WiXi=W1X1+W2X2+WnXn,2. 感知器的学习算法,感知器是具有单层计算单元的NN，由线性元件及阈值元件组成，如图11-8所示。 感知器的数学模型, 感知器学习算法的步骤, 对权系数W置初值。记为Wl(0)，W2(0)，Wn(0)，同时有Wn+1(0)-。 输入一样本X(X1，X2，Xn+1)以及它的期望输出d。 计算实际输出值： 。 根据实际输出求误差：ed-Y(t)。 用误差e去修改权系数。Wi(t+1)=Wi(t)+eXi, 当实际输出和期望值d相同时有Wi(t+1)=Wi(t)。

12、转到第点，一直执行到一切样本均稳定为止。,示例,X1：0 0 1 1 X2：0 1 0 1 则X1 V X2：0 1 1 1 以X1 V X21为A类， 以X1 V X2=0为B类， 则有方程组： W10+W20-0 有 0 W10+W21-0 W2 W11+W20-0 W1 W11+W21-0 W1 + W2 令 W1=1,W2=2，则有1。取=0.5，则有 X1+X2-0.5=0,分类情况如图11-10所示。,1122 B-P模型,1. B-P(Back-Progagation)模型概念 B-P模型是一种用于前向多层NN的误差反传学习算法，用于多层网络，网络中不仅有输入层节点及输出层节点，

13、而且还有一层至多层隐层节点，如图11-11所示。,1. B-P(Back-Progagation)模型概念,输入：net=x1w1+x2w2+xnwn 输出： y和f(net)的曲线如图11-12所示。,2. 学习算法, 学习本质：对各连接权值的动态调整。 学习规则：权值调整规则。 学习的类型：有导师学习。 核心思想：将输出误差以某种形式通过隐层向输入层逐层反传将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值。 学习的过程：NN在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。其过程为信号的正向传播误差的反向传播。 正向传播：输入样本输入层各隐层输出层

14、。 判断是否转入反向传播：若输出层的实际输出与期望输出不符，则。 误差反传：误差在各层表示修正各层单元的权值。 网络输出的误差减少到可接受的程度。,2. 学习算法, 变量定义 设 输入层与中间层的连接权值为wih； 隐含层与输出层的连接权值为who； 隐含层各神经元的阈值为bh； 输出层各神经元的阈值为bo； 样本数据个数为:k=1,2,m； 激活函数为f()； 误差函数为 。,2. 学习算法, 向量表示 输入向量为X=(x1,x2,xn)； 隐含层输入向量为hi=(hi1,hi2,hip)； 隐含层输出向量ho=(ho1,ho2,hop)； 输出层输入向量为yi=(yi1,yi2,yiq)；

15、 输出层输出向量yo=(yo1,yo2,yoq)； 期望输出向量为d0=(d1,d2,dq)。,2. 学习算法, 学习算法的步骤： 第一步，网络初始化。给各连接权值分别赋一个区间(-1，1)内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。 第二步,随机选取第k个输入样本及对应期望输出，X(k)=(x1(k),x2(k),xn(k)，d0(k)=(d1(k),d2(k),dq(k)。 第三步，计算隐含层各神经元的输入和输出。, 学习算法的步骤,第四步，用期望输出和实际输出,计算误差函数对输出层各神经元的偏导数o(k)。, 学习算法的步骤,第五步，利用隐含层到输出层的连接权值、输出层的

16、o(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数h(k)。, 学习算法的步骤,第六步，用输出层各神经元的0(k)和隐含层各神经元的输出来修正连接权值w0h(k)。 第七步，利用隐含层各神经元的h(k)和输入层各神经元的输入修正连接权。, 学习算法的步骤,第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。, BP算法直观解释,1123 Hopfield模型,1982年，JHopfield提出了Hopfield网络模型，它可用作联想记忆、分类和优化计算

17、的互连网络。这是一种带有反馈连接的循环NN，由于其输出端有反馈到其输入端，当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。 Hopfield网络有离散型和连续型两种。,1. 离散Hopfield网络,在离散Hopfield网络中，所采用的神经元是二值神经元，所输出的离散值1和0分别表示神经元处于激活和抑制状态。,1. 离散Hopfield网络,对于二值神经元，它的计算

18、公式为 ， 这里xi为外部输入，并且有：当Uii时，Yi=1；当Uii时，Yi=0。 对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量。 Y(t)=Y1(t),Y2(t),.,Yn(t)T 因为Yj(t)(j1n)可以取值1或0，所以n维向量Y(t)有2n种网络状态。 nn权系数矩阵W： W=Wij i=1,2,.,n；j=1,2,.,n 有n维阈值向量： =1,2,.nT,1. 离散Hopfield网络,节点的下一个时刻(t+1)的状态可以求出如下： 当Wij在ij时等于0，则说明一个神经元的输出并不会反馈到它自己的输入；这时，离散的HopfieId网络称为无自反馈网络。 当

19、Wij在ij时不等于0，则说明个神经元的输出会反馈到它自己的输入；这时，离散的Hopfield网络称为有自反馈的网络。 离散Hopfield网络有二种不同的工作方式：串行和并行,1. 离散Hopfield网络, 串行(异步)方式 在时刻t时，只有某一个神经元j(随机或确定性选择)参与计算，它的状态产生变化，而其它n-1个神经元的状态都保持不变，这种情况称串行工作方式。 对于第j个神经元有： 对于任意ij时有：,1. 离散Hopfield网络, 并行(同步)方式 在任一时刻t，所有的神经元都参与了计算，它们的状态都产生了变化；则称并行工作方式。并且有： 若对于任何t0，当NN从t0开始，有初始状

20、态Y(0)；经过有限时刻t，有Y(t+t)=Y(t)，则称网络是稳定的。,2. 连续Hopfield网络,连续Hopfield网络的每一个神经元的输入和输出关系为连续可微单调上升函数，和其它神经元之间有连接权的关系。状态变量直接影响输入变量，使系统变成一个随时间变化的动态系统。 连续Hopfield网络稳定条件都要求Wij=Wji。这种拓扑结构和生物的神经系统中大量存在的神经反馈回路是相一致的。两种网络不同的地方在于其函数g不是阶跃函数，而是S形的连续函数。一般取 g(u)=1/(1+e-u) 连续Hopfield网络中各神经元是处于同步方式工作的。神经元j，其内部膜电位状态用uj表示细胞膜输

21、入电容为Cj，细胞膜的传递电阻为Rj，输出电压为Vj，外部输入电流用Ij表示，则该网络可用图11-16所示的电路表示。,2. 连续Hopfield网络,设有n个神经元互联，vj(t) 和Uj(t)分别为输出和输入电位。,2. 连续Hopfield网络,根据图11-16，定义系统的能量函数E(t)为： 其中：g-1(v)是Vj(t)gj(uj(t)的反函数。,2. 连续Hopfield网络,定理：如果连续Hopfield网络中神经元传递函数是单调增长的连续并有界函数，并且WijWji，则沿系统的运动轨迹有dE(t)/dt0，当且仅当dVj(t)/dt=0时，有dE(t)/dt=0, j=1,2,

22、n。 这个定理说明Hopfield网络系统随着时间的增长，网络的各个神经元的状态变化所造成的系统状态轨迹在状态空间中总是向能量减小方向变化，网络稳定点就是能量的极小点。因此保证了，该网络是可以达到求解最优点（极值点）。,1124 典型的人工神经网络模型,11.2.4 典型的人工神经网络模型,113 神经网络专家系统,把神经网络与传统的ES有机地集成起来，协同工作，达到取长补短的目的。这两者在集成时有三种模式。 神经网络(NN)支持ES。比如对ES提供的知识和样例，通过NN自动获取知识；运用NN的并行推理技术以提高推理效率。 ES支持NN。以NN的有关技术为核心，建立相应领域的ES，采用ES的相

23、关技术完成解释等方面的工作。 协同式的NN与ES。针对每个子问题的特点，选择用NN和ES加以实现，在NN和ES之间建立一种耦合联系。,1131 基于神经网络的知识表示与推理,1、基于NN的知识表示 NN中的知识表示是一种隐式的表示方法。NN的知识表示是把某一问题领域的若干知识彼此关联地表示在一个NN中。 一个NN可以用一个加权有向图表示。加权有向图中的节点连接关系和权值分布可以用一个矩阵来表示，这个矩阵称为邻接权矩阵。一个有m个节点的NN的邻接权矩阵W=wijmn的定义为： ，若节点i有至节点j的邻接且权值为wij ，若节点i无至节点j的邻接,1、基于NN的知识表示,如对图11-17所示的异或

24、逻辑( )的NN来说，其邻接矩阵为：,图11-17中神经元内的数据表示减去阈值(如-3=-1.0)。,1、基于NN的知识表示,如果用产生式规则描述，则该网络代表下述4条规则： IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,2. 神经网络的知识自动获取,NN是通过实例学习来实现知识自动获取的。使在具有同样输入的条件下NN能够获得与领域专家给出的解答尽可能相同的输出。解答的精度可用它与专家解答之间的方差一类准则来度量。在进行知识获取时，要

25、求领域专家提供学习实例及其相应的期望解，经过网络自适应学习算法不断修改网络的权值分布，一旦网络稳定后，就把领域专家求解该问题的知识和经验(通过提供的学习实例来表示)分布到网络的互连结构及权值分布上，从而得到推理所需要的知识库。 NN专家系统的简单结构如图11-18所示。,3.神经网络的知识推理与解释,NN专家系统是经过网络计算，把用户提供的原始证据作为网络输入，通过网络计算最终得出。NN的推理是一种正向的非线性数值计算过程。它的推理过程包括如下几个步骤： 把已知证据作为输入赋给网络输入层的各个节点。 利用特征函数分别计算网络中各层的输出，计算时，前面层次的输出将作为直接后继层各节点的输入，逐层

26、进行计算，直至计算出输出层的输出值。 用阈值函数对输出层的输出进行判定，从而得到输出结果。 NN的推理是一种并行推理机制。 由于NN各输出节点的输出是数值的，因此，需要一个解释器对输出模式进行解释。 要实现神经网络ES的解释机能，需利用神经网络中的各个数据，如输入数据，输出数据及隐含层神经元输出数据。经过训练形成各项权值，得出解释规则，完成解释任务。,3.组合神经网络专家系统,由于一个NN ES可以用一个加权有向图表示，因此，可以方便地把同一个知识领域的几个独立的NN ES组合成一个规模更大的NN ES，只要知道这几个NN之间有哪些节点有连接关系，可根据专家知识来判断两个节点之间是否有模糊的因

27、果关系，可以通过学习来获得连接权值。 对于基于规则的几个ES组合成一个更大的ES，由于规则的冗余程度和不一致性都较大，各自的规则越多，组合的知识库越不可靠。,1132 基于神经网络的故障诊断专家系统,1. 基于神经网络故障诊断专家系统的结构,2. 神经网络在医学专家系统中的应用, 构造神经网络 假设整个系统的简易诊断模型只有六种症状、两种疾病、三种冶疗方案。 症状：对每一症状只采集有、无及没有记录这三种信息。 疾病：对每一疾病也只采集有、无及没有记录这三种信息。 治疗方案：对每一治疗方案只采集是否采用这两种信息。 其中，对“有”、“无”、“没有记录”分别用1、-1、0表示。这样对每一个病人就可

28、以构成训练样例。假设通过训练样例对网络的训练得到了如图11-20所示的NN。其中x1，x2，x6为症状输入；x7,x8为疾病名；x9，x10,x11为治疗方案。,、基于神经网络的推理,如将X=(x1，x2，x6)输入网络，通过网络计算最终得到输出结果(患者得病)Y=( x7,x8)，以及针对疾病选择的治疗方案Y=( x9，x10,x11)。例如某患者有症状x2=1(即病人有x2这个症状)，x3=x4=-1(即病人没有x3与x4这两个症状)。 X7=01+21+(-2)(-1)+3(-1)=10 得X7=1； X8=(-1)1+3(-1)+03+03=-40 得X10=1； Xa=21+(-4)

29、(-1)+51 =110 得Xa=1； Xb=31+(-2)(-1)+21 =70 得Xb=1； Xc=01+(-1)(-1)+(-3)1 =-20 得X10=1 由此可知该病人患的疾病是x7，患者需选择治疗方案X10和X11进行治疗。,3.神经网络专家系统的优缺点,优点： 具有并行结构和并行处理方式； 具有高度的自适应性； 具有很强的自学习能力； 具有很强的容错性； 具有统一的内部知识表示方式； 实现了知识表示、知识获取与知识处理三种融NN于一体的快速处理机制。,3.神经网络专家系统的优缺点,缺点 神经网络ES的性能很大程度上受到训练样本的影响。 目前的神经网络ES没有询问机制。 NN专家系统目前仍停留在解决一些规模比较小的问题。 神经网络ES的知识表示，输入证据和输出结果要求数字化，推理为数值计算。 NN进一步发展的核心问题在于学习算法的改进和提高，以及ANN的工作机制的不断完善，从而使ANN及其ES具有更高的智能水平。,