神经网络与遗传算法.ppt

1、人工神经网络与遗传算法Artificial Neural Network and Genetic Algorithm00111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010

2、101010110011100011101000110100101010101100111000111010001101001010101011001110前言 教材 主要参考书 课程目的 课程内容 知识基础 课时安排 成绩评定001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011

3、00111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 教 材书 名：人工神经网络导论出版社：高等教育出版社作 者：蒋宗礼定 价：12.4元001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110

4、01110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 主要参考书1、沈世镒,神经网络理论与应用,科学出版社。2、郝红伟,Matlab 6.0 入门,中国电力出版社。3、闻新、周露等，Matlab神经网络应用设计，科学出版社。4、周明，孙树栋，遗传算法原理及应

5、用，国防工业出版社，1999。001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001

6、11000111010001101001010101011001110课程目的1、引导学生了解人工神经网络及遗传算法的基本思想。2、重点介绍感知器及BP网络模型，让学生掌握其结构、数学描述及学习算法。3、通过实验进一步体会BP神经网络模型的应用及性能。4、了解人工神经网络与遗传算法的有关研究思想，培养将该方法应用与工程实践的能力。5、查阅适当的参考文献，将所学的知识应用于将来的学习或科研中。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101

7、0001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110课程内容第第1章章 概述概述 1.1 人工神经网络研究与发展 1.2 生物神经元 1.3 人工神经网络的构成第第2章章 人工神经网络基本模型人工神经网络基本模型 2.

8、1 感知器模型 2.2 线性神经网络 2.3 BP神经网络 2.4 其他神经网络00111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011

9、101000110100101010101100111000111010001101001010101011001110第第3章章 BP神经网络理论神经网络理论 3.1 网络结构 3.2 数学模型 3.3 学习算法 3.4 网络的泛化能力 3.5 算法的改进 3.6 网络结构参数的确定 第第4章章 BP神经网络应用神经网络应用 4.1 MATLAB应用基础 4.2 一个正弦波学习程序设计 4.3 网络结构调整与算法改进 4.4 网络计算与分析00111010001101001010101011001110001110100011010010101010110011100011101000110

10、100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110第第5章章 遗传算法遗传算法 5.1 形成与发展 5.2 基本原理 5.2.1 基本概念 5.2.2 编码 5.2

11、3 适应度函数 5.2.4 遗传算子 5.2.5 遗传学习算法 5.3 研究方向 5.4 应用实例 001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101

12、10011100011101000110100101010101100111000111010001101001010101011001110知识基础1、激励函数（阶跃函数、非线性函数、连续函数、单调函数）、函数收敛2、偏微分、梯度、方差与均方差3、向量与矩阵4、最优解与解空间5、Matlab使用6、人工智能基础00111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010

13、010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110课时安排1、上课：24学时学时 814周二34节，812周五12节2、上机：20学时学时 1320周五12节，19 20周二34节3、其它：8学时学时 1518周二34节 用于查阅资料、作业、论文写作00111010001101001010101

14、011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110成绩评

15、定1、出勤率（到课率和上机）2、作业一次3、论文一篇0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010

16、10101011001110001110100011010010101010110011101.1 人工神经网络的研究与发展第第1章章 概述概述40年代初50年代末60年代末80年代90年代0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110

17、10010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011101、萌芽期 40年代初，美国Mc Culloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达提出了阈值加权和模型MP模型。1949年，心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。Hebb学习规的基本思想至今在神经网络的研究中仍发挥着重要作用。0011101000110100101010101100111

18、00011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011102、第一次高潮 50年

19、代末期，Rosenblatt提出感知机模型(Perceptron)。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣。在60代掀起了神经网络研究的第一次高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却又使人们走到另一个极端上。001110100011010010101010110011100011101000110100101010101

20、100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011103、反思期 60年代末，美国著名人工智能专家Minsky和Papert对R

21、osenblatt的工作进行了深人研究，出版了有较大影响的Perceptron一书，指出感知机的功能和处理能力的局限性，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。另一方面，由于60年代以来微电子技术日新月异的发展，电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。再者，

22、当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚，使对神经网络的研究进入了低潮。00111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101

23、0101100111000111010001101001010101011001110001110100011010010101010110011104、第二次高潮 进入80年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得了较大成功。但在一段时间以后，实际情况表明专家系统并不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络

24、的研究又开始复兴，掀起了第二次研究高潮。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010

25、1100111000111010001101001010101011001110 1982年，美国加州理工学院物理学家JHopfield提出了一种新的神经网络循环神经网络。他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。1984年，JHopfield研制了后来被人们称为“Hopfield网”的电路，物理实现为神经计算机的研究奠定了基础，解决了著名的TSP问题。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理小组的研究者在Hopfield网中引入随机机制，提出了Boltzmann机。1986年，Rumelhart等人在多层神经网络模型

26、的基础上，提出了多层神经网络模型的反向传播学习算法BP（Back propagation）算法，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001

27、110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011105、再认识和应用研究期（1991）九十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息处理领域，如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件包、神经网络芯片以及电子神经计算机的出现，体现了神经网络领域的各项研究均取得了长足进展。同时，相应

28、的神经网络学术会议和神经网络学术刊物的大量出现，给神经网络的研究者们提供了许多讨论交流的机会。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001

29、1100011101000110100101010101100111000111010001101001010101011001110 虽然人们已对神经网络在人工智能领域的研究达成了共识，对其巨大潜力也毋庸置疑，但是须知，人类对自身大脑的研究，尤其是对其中智能信息处理机制的了解，还十分肤浅。因而现有的研究成果仅仅处于起步阶段，还需许多有识之士长期的艰苦努力。概括以上的简要介绍，可以看出，当前又处于神经网络理论的研究高潮，不仅给新一代智能计算机的研究带来巨大影响，而且将推动整个人工智能领域的发展。但另一方面，由于问题本身的复杂性，不论是神经网络原理自身，还是正在努力进行探索和研究的神经计算机，目

30、前，都还处于起步发展阶段。00111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111

31、000111010001101001010101011001110 生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。1.2 生物神经元0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100

32、11100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011101、结构0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011

33、1010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110神经元由细胞体(Soma)和延伸部分组成。延伸部分按功能分有两类，一种称为树突(Dendrite)，用来接受来自其他神经元的信息；另一种用来传递和输出信息，称为

34、轴突(Axon)。神经元之间的相互连接从而让信息传递的部位披称为突触(Synapse)，突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010

35、1011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 2、特征 (1)并行分布处理 大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒，比通常的电子门电路要慢几个数量级。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元

36、所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111

37、0001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 (2)神经系统的可塑性和自组织性 从生理学的角度看，它体现在突触的可塑性和联接状态的变化。例如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。(3)信息处理与信息存贮合二为一 由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而不像现行计算机那

38、样存贮地址和存贮内容是彼此分开的。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110

39、0111000111010001101001010101011001110(4)信息处理的系统性 大脑的各个部位是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。(5)能接受和处理模糊的、模拟的、随机的信息 0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111

40、0100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 1.3 人工神经网络 人工神经网络(ArtificialNeuralNetwork，ANN)是对人类大脑特性的一种描述。它是一个数学模型，可以用电子线路实现，也可以用计算机程序来模拟。是人工智能研究的一种方法。0011101

41、000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101

42、01010110011101、ANN结构 下图是一个神经元的结构图，通过与生物神经元的比较可以知道它们的有机联系，生物神经元中的神经体与人工神经元中的结点相对应，树突（神经末梢）与输入相对应，轴突与输出相对应，突触与权值相对应。001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011

43、00111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 2、ANN研究与应用的主要内容研究与应用的主要内容 (1)人工神经网络模型的研究 神经网络原型研究，即大脑神经网络的 生理结构、思维机制。神经元的生物特性如时空特性、电化 学性质等的人工模拟。易于实现的神经网络计算模型。神经网络的学习算法与学习系统。0011101000110100101010101100111000111010

44、0011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110(2)神经网络基本理论 神经网络的非线性

45、特性，包括自组织、自适应等作用。神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010

46、0011010010101010110011100011101000110100101010101100111000111010001101001010101011001110待 (3)神经网络智能信息处理系统的应用 认知与人工智能，包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制，包括决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制等。信号处理，自适应滤波、时间序列预测、消噪、非线性预测、非线性编码等。001110100011010010101010110011100011101000110

47、10010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110(4)神经网络的软件模拟和硬件实现(5)神经网络计

48、算机的实现0011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101

49、00011010010101010110011103、ANN 与人工智能 对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。0011101000110100101010101100111000111010001101001010101011001110001110100011010010

50、1010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110001110100011010010101010110011100011101000110100101010101100111000111010001101001010101011001110 4、ANN的信息处理能力 存贮能力和计算能力是现代计算机科学中的两个基本问题，同样，它们也构成了人工神经网络研究中的基本问