第一篇人工神经网络.ppt

《第一篇人工神经网络.ppt》由会员分享，可在线阅读，更多相关《第一篇人工神经网络.ppt（79页珍藏版）》请在三一文库上搜索。

1、第一篇 人工神经网络,79,2,第二章 人工神经网络的基本模型,2.1 生物神经元 2.2 人工神经元的形式化模型 2.3 电子神经元 2.4 人工神经网络模型 2.5 人工神经网络的学习规则 2.6 人工神经网络与传统计算机的比较 2.7 人工神经网络的发展方向与研究问题,79,3,2.1 生 物 神 经 元,2.1.1 神经元的结构 2.1.2 膜电位与神经元的兴奋,79,4,2.1.1 神经元的结构,本体：细胞体（细胞膜、质、核），对输入信号进行处理，相当于CPU。 树突：本体向外伸出的分支，多根，长1mm左右，本体的输入端。 轴突：本体向外伸出的最长的分支，即神经纤维，一根，长1cm1

2、m左右，通过轴突上的神经末梢将信号传给其它神经元，相当于本体的输出端。 突触：各神经元之间轴突和树突之间的接口，即神经末梢与树突相接触的交界面，每个细胞体大约有103104个突触。突触有兴奋型和抑制型两种。,79,5,图 2. 1 神 经 元 结 构,79,6,2.1.2 膜电位与神经元的兴奋,膜电位：细胞膜将细胞分为内外两部分，当外部电位为0时，称内部电位为膜电位。 静止膜电位：当没有输入信号时的膜电位成为静止膜电位，通常为-70mv左右。 兴奋状态：当外部有输入信号时，将使膜电位发生变化，倘若使膜电位升高，比静止膜电位高15mv以上，即超过-55mv（阈值），神经元被激活，内部电位急剧上升

3、至100mv左右，并维持约1ms，然后急剧下降。相当输出一个100mv高1ms宽的脉冲，并沿轴突以100m/s的速度传至其它的神经元。,79,7,抑制状态：当外部输入信号使膜电位下降低于阈值电位时，神经元处于抑制状态，无脉冲输出。 “兴奋抑制”状态满足“01”律 A/D转换：电脉冲到达各突触接口后，放出某种化学物质，该物质作用于各个和其相连的神经元的细胞膜，并使其膜电位发生变化，完成了将离散的脉冲信号转换为连续变化的电位信号。 不应期：神经元输出一个脉冲后，一段时间内对激励不响应，称之为不应期，一般为几ms。,79,8,时间加算功能：对于不同时间通过同一突触传入的信号具有时间的加算功能。 空间

4、加算功能：对于同一时间通过不同突触的输入信号具有空间加算功能。,79,9,2.2 人 工 神 经 元 的 形 式 化 模 型,2.2.1 M-P 模型 2.2.2 线性加权模型 2.2.3 阈值逻辑模型,79,10,2.2.1 M-P 模型,图 2.2 M-P 模 型,79,11,输入条件 输出,79,12,2.2.2 线性加权模型,图2.3 线性加权模型,79,13,输入条件 输出,79,14,2.2.3 阈值逻辑模型,图2.4 阈值逻辑模型,79,15,其中：Ii-1,+1，Y-1,+1，Wi-1,+1,79,16,图2.5 用M-P模型实现二元Boole逻辑,79,17,图2.6 用M-

5、P模型实现三元Boole小项逻辑,79,18,图2.7 神经元的延时作用,79,19,图2.8 利用神经元构造存储元件,79,20,图2.9 模拟条件反射的神经网络,79,21,X1代表无条件刺激 (如巴甫洛夫试验中的“食物”)， X2代表条件刺激或信号(如巴甫洛夫试验中的“铃声”)， N1和N2分别是限值为N1和N2的“达限归零”计数器，即当输入N1（N2）个脉冲后，计数器产生一个脉冲输出，同时回零重新计数。 Z1Z5都是基于线性加权模型的神经元，它们的阈值和联接方式都已在图中注明。 如果X1和X2同时输入NN1次，相当于巴甫洛夫试验中建立条件反射的训练过程。,79,22,一旦当NN1，则模

6、计数器N1产生输出脉冲，条件反射建立起来。 如果只有X2输入而没有X1的输入，Z5也会产生兴奋（Y）。这就是条件反射的效应。 但是，如果事件X2X1（即有铃声无食物）出现的次数达到N2次，那么，条件反射将消退。,79,23,2.3 电子神经元,图2.10 人工电子神经元,79,24,图2.11 人工神经元网络的三种模式,79,25,2.4 人工神经网络模型,2.4.1 神经网络节点的形式化描述 2.4.2 神经元状态转移函数的类型 2.4.3 神经网络分类及其拓扑结构 2.4.4 神经网络的知识表示与处理能力,79,26,2.4.1 神经网络节点的形式化描述,图2.12 神经元结构模型,79,

7、27,i = wij + si - j (2.4.1) ui = f ( i ) (2.4.2) Yi = g ( ui ) = f (i ) h=g f (2.4.3),79,28,2.4.2 神经元状态转移函数的类型,当神经元没有内部状态时，可令 yi=ui，h=f 。如图2.13所示，常用的神经元状态转移函数有： 1、阶跃函数 如图2.13（a）所示。 (2.4.4),79,29,2、准线形函数 如图2.13（b）所示。 (2.4.5) 3、Sigmoid函数 如图2.13（c）所示。 (2.4.6),79,30,4、双曲正切函数 如图2.13（d）所示。 (2.4.7),79,31,图

8、2.13 神经元状态转移函数,阶跃函数 准线形函数 Sigmoid函数 双曲正切函数,79,32,2.4.3 神经网络分类及其拓扑结构,一、神经网络的分类 1、按照对生物神经系统的不同组织层次和抽象层次的模拟，可分为： （1）神经元层次模型 研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息选择的响应和某些基本存贮功能的机理。 （2）组合式模型 它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务。如模式识别、机器人控制等。,79,33,（3）网络层次模型 它是由许多相同神经元相互连接而成的网络，从整体上研究网络的集体特性。 （4）神经系统模型 一般由多个不同性

9、质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质。 （5）智能型模型 这是最抽象的层次，多以语言形式模拟人脑信息处理的运行、过程、算法和策略。这些模型试图模拟如感知、思维、问题求解等基本过程且与AI相关。,79,34,2、按照网络的结构与学习方式分： （1）按照网络的性能分：连续型与离散型网络；确定型与随机型网络。 （2）按照网络的结构分：前馈网络；反馈网络。 （3）按照学习方式分：有教师指导的网络；无教师指导的网络。 （4）按照连接突触的性质分：一阶线性关联网络；高阶线性关联网络。,79,35,二、神经网络的拓扑结构 1、不含反馈的前向网络(a) 2、从输出层到输入层有反馈的前向网络(

10、b) 3、层内有反馈的前向网络(c) 4、相互结合型网络(d),79,36,图2.14网络结构的各种形态,79,37,表2.1 反馈ANN：无教师指导学习,79,38,79,39,表2.2 无反馈ANN：有教师指导学习,79,40,表2.3 前向ANN：有教师指导学习,79,41,2.4.4 神经网络的知识表示与处理能力,一、神经网络的知识表示 1、知识（概念、信息）的存储形式 2、知识表示和神经元数量间的关系 韦肖(Willshow)证明，表示一个“知识”的神经元数量，最好是网络中神经元总数的对数值，即： Y=2X 式中 Y 网络中神经元的总数 X 一个“知识”的神经元数。 若网络中总共有1

11、06个神经元，则每个“知识”最好用20个神经元来编码。,79,42,二、神经网络的工作方式 1、学习期 2、工作期 3、工作方式 （1）利用能量函数的所有极小点 能量函数的所有局部极小点都起作用。这一类主要用于各种联想存储器、信息压缩及编码，通常称为HNN的属于这一类，也包含一些自组织网络。 （2）利用能量函数的全局最小点 只利用能量函数的全局最小点，这一类主要用于求解组合最优化问题。例如TSP问题以及视觉、控制等领域中的一些反演问题。,79,43,（3）利用映射函数 在工作中不考虑能量函数，主要作用是函数映射，它主要包括用于模式分类和特征抽取的多层感知器。 三、神经网络的信息处理能力 1、信

12、息的分布式存储与分布式处理 2、神经网络处理信息的特点 神经网络系统与现代数字计算机有如下不同： （1）以大规模模拟并行处理为主，而现代数字计算机只是串行离散符号处理； （2）具有很强的鲁棒性和容错性，善于联想、概括、类比和推广，任何局部的损伤不会影响整体结果；,79,44,（3）具有很强的自学能力。系统可在学习过程中不断地完善自己，具有创新特点，这不同于AI中的专家系统，后者只是专家经验的知识库，并不能创新和发展； （4）它是一个大规模自适应非线性动力学系统，具有集体运算的能力，这与本质上是线性系统的现代数字计算机迥然不同。 3、神经网络处理信息的应用领域 （1）数学逼近映射：开发合适的函数

13、f : ARnBRn，以自组织的方式响应以下的样本集合：(x1,y1)(xm,ym) ，（这里 yi=f (xi) 或 y=f (x)+N ，其中N为噪音过程）。,79,45,（2） 概率密度函数的估计：通过自组织的方式开发出一组等概率“锚点”来响应在空间Rn中按照一定确定概率密度数p选取一组向量样本x1,x2, x3。 （3） 从二进制数据基中提取相关的知识：将从二进制基中提取的相关知识形成一种知识的聚集模型。这些知识依照数据基的自组织在它们之间有某种统计上的共性，并依这些共性来响应输入的数据基。 （4） 形成拓扑连续及统计意义的同构映射：这是对固定概率密度函数选择输入数据进行自适应的一种自

14、组织映射。终归使得数据空间上的不同项有某种同构。,79,46,（5） 最近相邻模式分类：通过比较大量的存贮数据来进行模式分类，但首先对样本模式进行分类。这种能力可应用于暂态或暂稳态模式分类，并且可用层次性的存贮模式来表达存贮。 （6） 数据聚类：这是采用自组织的方式所选择的“颗粒”或模式的聚类，以此来响应输入数据。聚类是可变的，但要限制其鞍点的个数。对于任何新的目标，只要在系统中没有给其提供聚类，都要形成新的聚类。 （7） 最优化问题的计算：这是用来求解局部甚至是全局最优解的。,79,47,2.5 人工神经网络的学习规则,2.5.1 人工神经网络的学习方式 2.5.2 人工神经网络学习规则,7

15、9,48,2.5.1 人工神经网络的学习方式,一、死记学习 联想记忆（自、他），先设计成记忆模式为稳态，给定有关信息时就回忆起来。如HNN网络。 二、有教师指导的学习 给定输入模式，教师指定期望输出，通过调整权系。前向网络，如BP算法。 三、竞争学习 给定一个输入模式，使某些（个）神经元兴奋。如ART网络。,79,49,2.5.2 人工神经网络学习规则,一、相关规则 依据连接之间的激活水平改变权系。（死记学习）。 1、D.D.Hebb 学习规则 网络中若第i与第j个神经元同时处于兴奋状态，则它们之间的连接权值Wij应当加强，即： Wij(n+1)=Wij(n)+Wij Wij =YiYj 0

16、学习速率系数 要求：Y 0,1 或 Y -1,+1 Hopfield网络使用修正的Hebb规则： Wij =(2Yi-1)(2Yj-1) 要求： Y 0,1 或 Y -1,+1,79,50,二、纠错规则 依据输出节点的外部反馈来改变权系，使实际输出与期望输出相一致。（有教师指导的学习） 2、感知器的学习规则 如果一个节点的输出正确，则连接权值不变。 如果输出本应为0而为1，则相应地减小权值。 如果输出本应为1而为0，则相应地增加权值。,79,51,3、 学习规则 网络中神经元 j 与神经元 i 的连接权值为Wij ，则对权值的修正为： Wij= i Yi 其中：为学习率； i = Ti - Y

17、i 为i的偏差，即i的实际输出和教师信号之差。 学习规则仅用于单层网络的学习规则，如单层感知器的学习。,79,52,4、广义 学习规则 用于多层网络，对于输出层节点和相邻隐层节点之间的权值修正用 学习规则，对于其它层间的连接权值，则使用广义 学习规则。设i为隐层节点，其偏差的计算为： i = f ( neti ) k Wki Wij= i Yi 其中： k 为i的上一层节点k的偏差，Wki 为 i 与 k 间的连接权值。i 的下一层节点的偏差可以用递归的方法得到。,79,53,5、Boltzmann机学习规则（模拟退火算法） 模拟退火算法基本上由三部分组成： (1) 以一定的概率密度函数跃迁到

18、新的状态，这个概率密度函数称为生成函数。 (2) 以一定的概率密度函数容忍评估函数的偶然上升，这个概率密度函数称为容忍函数。 (3) 以一定的冷却方式降低温度，这个等效温度是生成函数和容忍函数的控制参量。,79,54,经典的模拟退火算法中使用了高斯型生成函数， (2.5.6) 其中T(t)是温度，决定了概率密度分布的特征宽度，这种分布函数远处是指数型衰减的，因而代表一种局域型搜索过程，为了能找到全局最小，温度要下降的很慢，Geman兄弟证明只要满足退火率为： (2.5.7) 且T(0)要足够大。,79,55,算法大致如下，从一个随机选取的状态出发，依据生成函数产生一个新的状态，如果这个新的状态

19、的评估函数值比原来的状态低，则令它为系统新的状态；如果它比原先状态的评估函数值高，则它成为新状态的概率由容忍函数确定，若系统不进入这个状态，则它仍保持原先的状态，生成函数与容忍函数按照规定的冷却方式变化。 在学习过程中，随机地改变一权值，确定权值改变后产生的最终能量，并按照下述规则来确定是否保留此权值的变化。,79,56,若随机改变权值后，ANN能量降低，则保留这一改变。 若随机改变权值后，ANN能量没降低，则根据一预选的概率分布来保留这一改变，否则 拒绝权值的改变，使权值恢复到原来的值。 在第步虽然性能有可能变差，但从整体上来看，却能保证ANN能达到能量最小点。在中逐渐减小概率值。,79,5

20、7,6、梯度下降算法 将数学上的最优化方法应用于ANN中，权值的修正量正比于误差对加权的一阶导数。 (2.5.8) 其中，E 是描述误差的误差函数，是学习率。,79,58,三、无教师指导的学习规则 学习表现为适应于输入空间的检测规则。 7、竞争学习规则 设输入层有n个节点，输出层m个节点，dj为距离接近测度，则： i1,2,n, j1,2,m (2.5.9),79,59,胜者： j1,2,m (2.5.10) (2.5.11),79,60,2.6 人工神经网络与传统计算机的比较,2.6.1 人工神经网络计算机和冯诺依曼计算机的比较 2.6.2 人工神经网络和人工智能的比较 2.6.3 人工神经

21、网络与生物系统的区别,79,61,2.6.1 人工神经网络计算机和冯诺依曼计算机的比较,79,62,表2.4 人工神经网络计算机和冯诺依曼计算机的比较,79,63,79,64,2.6.2 人工神经网络和人工智能的比较,一、人工神经网络(ANN)和人工智能(AI)的比较 1、人工智能系统是在传统计算机硬件基础上发展起来的图灵过程软件，以使传统的计算机更有用和更有智慧。 2、 人工神经网络是把算法和结构统一为一体的系统，这是一种硬件和软件的混合体，由于它在某种程度上模拟大脑的结构，所以这种系统有更高的智慧。 3、 两者在运算逻辑上实际上是相同的，例如，识别事物均采用等价类模型，以识别苹果为例，当水

22、果、红色及美味三要素重叠时，便判定为苹果。,79,65,二、人工神经网络(ANN)和人工智能(AI)在工作原理上的不同 1、知识表象不同。AI用一维串表示知识，ANN则用二维或高维矩阵表示知识，优点如下： 由于自由度增加，使存储空间扩大，因而存储容量可以更大。 容错性大为提高，因为高维空间中每一状态有更多的近邻，使多体效应更加复杂和显著。另外，多维空间会有相变，对知识的存储和学习有重要意义。,79,66, 高维空间更易于分类，分类就是识别事物，其原则是使得同类事物更加聚集，异类事物更分离，此原则在高维空间中容易实现。 2、学习方式不同。AI要求预编程，它是在指定规则的基础上工作的，这种系统只能

23、进行推理。ANN是通过学习建立和改变知识，它具有推广和抽象的能力，这种系统可以进行引证，无需预编程和制定工作规则。,79,67,2.6.3 人工神经网络与生物系统的区别,1、数字和逻辑电路的原理不适用于生物神经系统，因为生物神经系统既没有统一的时钟来同步各种神经元的翻转，也没有硬性限制一次只能有一个神经元改变状态的异步逻辑。由此看来，模拟电路与实际神经元比较接近。 2、生物神经元及突触都不是双稳态记忆元件。 3、生物神经系统中没有机器指令，也没有时序控制码。 4、生物神经系统不是自动机，不能完成递归运算。,79,68,5、生物神经系统不拥有专门问题求解、抽象化或决策电路。 6、即使在最高层次上

24、，生物神经系统的信息处理方式也与数字电路不同。,79,69,2.7 人工神经网络的发展方向与研究问题,2.7.1 人工神经网络模型的研究 2.7.2 人工神经网络基本理论的研究 2.7.3 人工神经网络智能信息处理系统的应用研究 2.7.4 人工神经网络计算机,79,70,2.7.1 人工神经网络模型的研究,人脑的生理结构，即神经网络原型的研究。 人脑思维的机制，特别要从信息科学和认知科学的角度来阐明这种机制。 神经元生物特性如时空特性、不应期、电化学性质等完善的人工模拟，如高阶非线性模型、多维局域连接模型。 神经网络计算模型，特别是统一化的便于实现的模型。 神经网络学习算法与学习系统。,79

25、,71,2.7.2 人工神经网络基本理论的研究,非线性内在机制自适应、自组织、协同作用、突变、奇怪吸引子与浑沌、分维、耗散结构、随机非线性动力学等。 神经网络的基本特性稳定性、收敛性、容错性、鲁棒性、动力学复杂性； 神经网络的能力与判别准则计算能力、准确性、存贮 容量、准则的表达与综合性能判别。 面向应用的网络设计与综合专用和通用神经网络计算机的设计、单元连接、运算模式、I/O、存贮/计算，与现有技术的兼容与匹配等。,79,72,2.7.3 人工神经网络智能信息处理系统的应用研究,自适应信号处理自适应滤波、时间序列预测、均衡、谱估计、 阵列处理、检测噪声相消等； 非线性信号处理非线性滤波、非线

26、性预测、非线性谱估计、非线性编码、映射、调制、解调、中值预处理等； 优化与控制优化求解、辨识、鲁棒性控制、自适应、变结构控制、决策与管理、并行控制、分布控制、智能控制等； 认知与AI模式识别、计算机视觉、听觉、特征提取、语言翻译、AM、逻辑推理、知识工程、专家系统、智能计算机与智能机器人、故障诊断、自然语言处理等。,79,73,2.7.4 人工神经网络计算机,一、目前神经网络计算机的实现 尽管人们对于神经网络计算机的研究已取得相当成果，但是由于人类对于人脑的认识还相当粗浅，对于建立一套完整的理论体系还是远远不够的，建立完全由神经网络构成的具有较高智能的计算机，目前来说还为时过早。,79,74,

27、二、神经网络计算机的应用现状 关于智能本质的研究是自然科学和哲学的重大课题之一。对于智能的模拟和机器的再现，可能会开拓发展出一代新兴产业。由于智能本质的复杂性，现代智能的研究已超越传统的科学界限。成为脑科学、神经学、心理学、认知科学、信息科学、微电子学，乃至数理科学共同关注的焦点。人工神经网络的重大进展有可能使包括信息科学在内的其它学科产生重大的突破。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。,79,75,三、光学神经网络计算机 1、光学计算机的特点 光学计算机的运算速度会比今天的超级计算机快一千到一万倍；光在长距离传输要比电子数字信号快约一百倍；光学元件功耗低；无电磁辐射，

28、可靠性强，保密性好。 2、光学计算机的研究现状 目前，光学逻辑器件，包括非线性光逻辑器件和编码光逻辑器件、半导体双稳态、光子存储器、光开关、面发光激光器、光/电寻址空间光调制器等主要器件均已相继问世。,79,76,二维图像联想存储的光学神经网络计算机。1987年，由美国加州工学院的D.Psaltis等人研制成功，主要用于图像的快速光模式识别。 二维可编程光学神经网络计算装置。由美国宾州的俞教授领导的小组研制成功，采用高分辨率的视频监视作为联想存储器，用于不完整字母的识别。 混合式人工神经网络计算系统。1990年，由美国卡内基梅隆大学的D.Casasent等人提出。该系统是用数字神经网络实行训练

29、和学习，用光学神经网络进行快速在线处理。,79,77,四、分子生物计算机 1、分子生物计算机的特点 分子计算由蛋白质和它们所综合的系统结构实现，即不需要象数字计算机那样编程； 分子活动的大规模并行特性可以提高计算效率，故比电子开关慢五个量级的单分子速度也不会影响整体的运算效率； 分子的计算形式属于一种基质感触识别，因此它依照几何方法可以实现与上下文有关的自适应信号输入，而无需一位一位的串行处理。,79,78,2、分子生物计算机的实现初探 分子生物计算机是受当代计算机的启发，从分子电子线路设计与造型出发，形成一个体积小、速度快、存储量大的数字分子计算机。包括分子开关、分子逻辑和分子局部装配等的研究。,79,79,分子生物计算机是模仿生物的图像信息处理功能，即快速的识别、自组织和自学习能力的感触式分子计算机。包括感触识别的基本模式、模拟感触处理功能的几种支撑技术以及同现代计算机相互结合的研究。例如，将生物分子处理器作为数字计算机的预处理感觉装置，即将每个生物分子处理器做成不同分辨率的探测器阵列，应用分子感触式处理方法快速完成输入信号的特征辩识，然后再进行更高层次的运算，这种结构称之为生物分子预处理结构。再如，分子自适应存储结构，利用神经元间的连接和切换原理可以模仿大脑的自适应记忆存储/检索功能。,