神经网络基本理论PPT课件.ppt

1、神经网络基本理论神经网络基本理论2v模糊控制从人的经验出发，解决了智能控制中人类语言的模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。迈出了重大的一步。模糊控制在处理数值数据、自学习能模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。力等方面还远没有达到人脑的境界。v人工神经网络从另一个角度出发，即从人恼的生理学和心人工神经网络从另一个角度出发，即从人恼的生理学和

2、心理学着手，通过人工模拟人脑的工作机理来实现机器的部理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。分智能行为。神经网络简介神经网络简介3神经网络简介神经网络简介vv人工神经网络（简称神经网络，人工神经网络（简称神经网络，人工神经网络（简称神经网络，人工神经网络（简称神经网络，Neural NetworkNeural NetworkNeural NetworkNeural Network）是模拟）是模拟）是模拟）是模拟人脑思维方式的数学模型。人脑思维方式的数学模型。人脑思维方式的数学模型。人脑思维方式的数学模型。vv神经网络是在现代生物学研究人脑组织成果的基础上提出神经网络是在现

3、代生物学研究人脑组织成果的基础上提出神经网络是在现代生物学研究人脑组织成果的基础上提出神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络的，用来模拟人类大脑神经网络的结构和行为。神经网络的，用来模拟人类大脑神经网络的结构和行为。神经网络的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联反映了人脑功能的基本特征，如并行信息处理、学习、联反映了人脑功能的基本特征，如并行信息处理、学习、联反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。想、模式分类、记忆等。想、模式分类、记忆等

4、想、模式分类、记忆等。vv20202020世纪世纪世纪世纪80808080年代以来，人工神经网络（年代以来，人工神经网络（年代以来，人工神经网络（年代以来，人工神经网络（ANNANNANNANN，Artificial Artificial Artificial Artificial Neural NetworkNeural NetworkNeural NetworkNeural Network）研究所取得的突破性进展。神经网络控）研究所取得的突破性进展。神经网络控）研究所取得的突破性进展。神经网络控）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制制是将神

5、经网络与控制理论相结合而发展起来的智能控制制是将神经网络与控制理论相结合而发展起来的智能控制制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的方法。它已成为智能控制的一个新的分支，为解决复杂的方法。它已成为智能控制的一个新的分支，为解决复杂的方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。4v神经网络的发展历程经过神经网络的发展历程经过4 4个阶段。个阶

6、段。v1 1 启蒙期（启蒙期（1890-19691890-1969年）年）v18901890年，年，W.JamesW.James发表专著发表专著心理学心理学，讨论了脑的结构，讨论了脑的结构和功能。和功能。v19431943年，心理学家年，心理学家W.S.McCullochW.S.McCulloch和数学家和数学家W.PittsW.Pitts提出了提出了描述脑神经细胞动作的数学模型，即描述脑神经细胞动作的数学模型，即M-PM-P模型（第一个神模型（第一个神经网络模型）。经网络模型）。v19491949年，心理学家年，心理学家HebbHebb实现了对脑细胞之间相互影响的数实现了对脑细胞之间相互影响

7、的数学描述，从心理学的角度提出了至今仍对神经网络理论有学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的着重要影响的HebbHebb学习法则。学习法则。v19581958年，年，E.RosenblattE.Rosenblatt提出了描述信息在人脑中贮存和记提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（忆的数学模型，即著名的感知机模型（PerceptronPerceptron）。）。v19621962年，年，WidrowWidrow和和HoffHoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即AdalineAdaline网络，并提出了网络学习新知识的方

8、法，即网络，并提出了网络学习新知识的方法，即WidrowWidrow和和HoffHoff学习规则（即学习规则（即学习规则），并用电路进行学习规则），并用电路进行了硬件设计。了硬件设计。神经网络简介神经网络简介5v2 2 低潮期（低潮期（1969-19821969-1982）v受当时神经网络理论研究水平的限制及冯受当时神经网络理论研究水平的限制及冯诺依曼式计算诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。机发展的冲击等因素的影响，神经网络的研究陷入低谷。v在美、日等国有少数学者继续着神经网络模型和学习算法在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的

9、理论和方法。例如，的研究，提出了许多有意义的理论和方法。例如，19691969年，年，S.GroisbergS.Groisberg和和A.CarpentetA.Carpentet提出了至今为止最复杂的提出了至今为止最复杂的ARTART网络，该网络可以对任意复杂的二维模式进行自组织、自网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。稳定和大规模并行处理。19721972年，年，KohonenKohonen提出了自组织提出了自组织映射的映射的SOMSOM模型。模型。神经网络简介神经网络简介6神经网络简介神经网络简介v3 3 复兴期（复兴期（1982-19861982-198

10、6）v19821982年，物理学家年，物理学家HoppieldHoppield提出了提出了HoppieldHoppield神经网络模型，神经网络模型，该模型通过引入能量函数，实现了问题优化求解，该模型通过引入能量函数，实现了问题优化求解，19841984年年他用此模型成功地解决了旅行商路径优化问题他用此模型成功地解决了旅行商路径优化问题(TSP)(TSP)。v在在19861986年，在年，在RumelhartRumelhart和和McCellandMcCelland等出版等出版Parallel Parallel Distributed ProcessingDistributed Process

11、ing一书，提出了一种著名的多层一书，提出了一种著名的多层神经网络模型，即神经网络模型，即BPBP网络。该网络是迄今为止应用最普遍网络。该网络是迄今为止应用最普遍的神经网络。的神经网络。7神经网络简介神经网络简介v4 4 新连接机制时期（新连接机制时期（1986-1986-现在）现在）v神经网络从理论走向应用领域，出现了神经网络芯片和神神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。经计算机。v神经网络主要应用领域有：模式识别与图象处理（语音、神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管指纹、故障检测和图象压缩等）、控制与优化

12、预测与管理（市场预测、风险分析）、通信等。理（市场预测、风险分析）、通信等。8神经网络简介神经网络简介神经网络原理神经网络原理v神经生理学和神经解剖学的研究表明，人脑极其复杂，由神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约皮层约140140亿个神经元，小脑皮层约亿个神经元，小脑皮层约10001000亿个神经元。亿个神经元。v人脑能完成智能、思维等高级活动，为了能利用数学模型人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。来模拟人脑的活动，导

13、致了神经网络的研究。v神经系统的基本构造是神经元神经系统的基本构造是神经元(神经细胞神经细胞)，它是处理人体，它是处理人体内各部分之间相互信息传递的基本单元。内各部分之间相互信息传递的基本单元。9神经网络简介神经网络简介v每个神经元都由一个细胞体，一个连接其他神经元的轴突每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支树突组成。树突组成。v轴突功能是将本神经元的输出信号轴突功能是将本神经元的输出信号(兴奋兴奋)传递给别的神经传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个元，其末端的许多神经末梢使得兴奋可以同时传送给多个

14、神经元。神经元。v树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。v神经元细胞体将接收到的所有信号进行简单地处理后，由神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。轴突输出。v神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经元的轴突与另外神经元神经末梢相连的部分称为突触。10神经网络简介神经网络简介n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵

15、达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。11神经网络简介神经网络简介v神经元由三部分构成：神经元由三部分构成：v（1 1）细胞体（主体部分）：包括细胞质、细胞膜和细胞）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；核；v（2 2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；v（3 3）轴突：为细胞体传出信息，其末端是轴突末梢，含）轴突：为细胞体传出信息，其末端是轴突末梢，含传递

16、信息的化学物质；传递信息的化学物质；v（4 4）突触：是神经元之间的接口（）突触：是神经元之间的接口（104105104105个个/每个神经每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。结构的可塑性。v 通过树突和轴突，神经

17、元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。12神经网络简介神经网络简介神经元具有如下功能：神经元具有如下功能：(1)兴兴奋奋与与抑抑制制：如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末末梢梢传传出出。如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位降降低低，低低于于动动作作电电位位的的阈阈值值时时即即为抑制状态，不产生神经冲动。为抑制状态，不产生神经冲动。(2)学学习习与与遗遗

18、忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用可增强和减弱，因此神经元具有学习与遗忘的功能。用可增强和减弱，因此神经元具有学习与遗忘的功能。13人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其为神经元与其它神经元的连接强度，也称权值。它神经元的连接强度，也称权值。14人工神经元模型人工神经元模型常用的激发函数

19、常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数15人工神经元模型人工神经元模型2）饱和型函数）饱和型函数3）双曲函数）双曲函数16 人工神经元模型人工神经元模型4）S型函数型函数5）高斯函数）高斯函数17神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2

20、自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容

21、分布于许多神经元中，而信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。18感知器感知器(Pe

22、rceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。单层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构感知器模型感知器模型19感知器模型感知器模型n感知器的学习算法感知器的学习算法为为方便起方便起见见，将，将阈值阈值(它也同它也同样样需

23、要学需要学习习)并入并入W中，令中，令Wn+1=-，X向量也相向量也相应应地增加一个分量地增加一个分量xn+1=1，则则学习算法：学习算法：给给定初始定初始值值：赋给赋给Wi(0)各一个各一个较较小的随机非零小的随机非零值值，这这里里Wi(t)为为t时时刻第刻第i个个输输入的入的权权(1in)，Wn+1(t)为为t时时刻的刻的阈值阈值；输输入一入一样样本本X=(xi,xn,1)和它的希望和它的希望输输出出d；计计算算实际输实际输出出 修正修正权权W：Wi(t+1)=Wi(t)+d-Y(t)xi,i=1,2,n+1 转转到到直到直到W对对一切一切样样本均本均稳稳定不定不变为变为止。止。20感知器

24、模型感知器模型根据某样本训练时，均方差随训练次数的收敛情况根据某样本训练时，均方差随训练次数的收敛情况21神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整

25、整个神经网络的输入输出关系。n分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。22神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每前向网络：只有前后相邻两

26、层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。个神经元从前一层接收输入，发送输出给下一层。23神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网

27、络的同一层神经元之间有互联的网络。元之间有互联的网络。24神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学

28、习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。25目目目目前前前前神神神神经经经经网网网网络络络络模模模模型型型型的的的的种种种种类类类类相相相相当当当当丰丰丰丰富富富富，已已已已有有有有近近近近4040余余余余种种种种神神神神经网络模型。经网络模型。经网络模型。经网络模型。典典典典型型型型的的的的神神神神经经经经网

29、网网网络络络络有有有有多多多多层层层层前前前前向向向向传传传传播播播播网网网网络络络络 （BPBP网网网网络络络络）、HopfieldHopfield网网网网络络络络、CMACCMAC小小小小脑脑脑脑模模模模型型型型、ARTART网网网网络络络络、BAMBAM双双双双向向向向联联联联想想想想记记记记忆忆忆忆网网网网络络络络、SOMSOM自自自自组组组组织织织织网网网网络络络络、BlotzmanBlotzman机机机机网网网网络络络络和和和和MadalineMadaline网络等。网络等。网络等。网络等。典型神典型神经网络经网络26神神神神经经经经网网网网络络络络学学学学习习习习算算算算法法法法

30、是是是是神神神神经经经经网网网网络络络络智智智智能能能能特特特特性性性性的的的的重重重重要要要要标标标标志志志志，神神神神经经经经网网网网络络络络通通通通过过过过学学学学习习习习算算算算法法法法，实实实实现现现现了了了了自自自自适适适适应应应应、自自自自组组组组织织织织和和和和自学习的能力。自学习的能力。自学习的能力。自学习的能力。目目目目前前前前神神神神经经经经网网网网络络络络的的的的学学学学习习习习算算算算法法法法有有有有多多多多种种种种，按按按按有有有有无无无无导导导导师师师师分分分分类类类类，可可可可分分分分为为为为有有有有教教教教师师师师学学学学习习习习（Supervised Sup

31、ervised LearningLearning）、无无无无教教教教师师师师学学学学习习习习（Unsupervised Unsupervised LearningLearning）和和和和再再再再励励励励学学学学习习习习（Reinforcement LearningReinforcement Learning）等几大类。等几大类。等几大类。等几大类。神经网络学习算法神经网络学习算法27 在在在在有有有有教教教教师师师师的的的的学学学学习习习习方方方方式式式式中中中中，网网网网络络络络的的的的输输输输出出出出和和和和期期期期望望望望的的的的输输输输出出出出（即即即即教教教教师师师师信信信信号号号

32、号）进进进进行行行行比比比比较较较较，然然然然后后后后根根根根据据据据两两两两者者者者之之之之间间间间的的的的差差差差异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。在在在在无无无无教教教教师师师师的的的的学学学学习习习习方方方方式式式式中中中中，输输输输入入入入模模模模式式式式进进进进入入入入网网网网络络络络后后后后，网网网网络络络络按按按按照照照照一一一一预预预预先先先先设设设设定定定定的的的的规规规规则则则则（如如如如竞竞竞竞争争争争规规规规则则则则）自自自自动动动动调调调调整整整整权权权权值，使网络

33、最终具有模式分类等功能。值，使网络最终具有模式分类等功能。值，使网络最终具有模式分类等功能。值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。神经网络学习算法神经网络学习算法28图图图图 有导师指导的神经网络学习有导师指导的神经网络学习有导师指导的神经网络学习有导师指导的神经网络学习神经网络学习算法神经网络学习算法29图图图图 无导师指导的神经网络学习无导师指导的神经网络学习无导师指导的神经网络学习无导师指导的神经网络学习神经网络学习算法神经网

34、络学习算法30 最基本的神经网络学习算法：最基本的神经网络学习算法：最基本的神经网络学习算法：最基本的神经网络学习算法：1 1、HebbHebb学习规则学习规则学习规则学习规则 HebbHebb学学学学习习习习规规规规则则则则是是是是一一一一种种种种联联联联想想想想式式式式学学学学习习习习算算算算法法法法。生生生生物物物物学学学学家家家家D.O.HebbianD.O.Hebbian基基基基于于于于对对对对生生生生物物物物学学学学和和和和心心心心理理理理学学学学的的的的研研研研究究究究，认认认认为为为为两两两两个个个个神神神神经经经经元元元元同同同同时时时时处处处处于于于于激激激激发发发发状状状

35、状态态态态时时时时，它它它它们们们们之之之之间间间间的的的的连连连连接接接接强强强强度度度度将将将将得得得得到到到到加加加加强强强强，这这这这一一一一论论论论述述述述的的的的数数数数学学学学描描描描述述述述被被被被称称称称为为为为HebbHebb学学学学习习习习规规规规则则则则，即即即即神经网络学习算法神经网络学习算法31其中，其中，为连接从神经元为连接从神经元 到神经元到神经元 的当前权的当前权值，值，和和 为神经元的激活水平。为神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这根据神经元连接间的激活

36、水平改变权值，因此，这种方法又称为相关学习或并联学习。种方法又称为相关学习或并联学习。神经网络学习算法神经网络学习算法322 Delta（）学习规则学习规则假设误差准则函数为：假设误差准则函数为：假设误差准则函数为：假设误差准则函数为：其其其其中中中中，代代代代表表表表期期期期望望望望的的的的输输输输出出出出（教教教教师师师师信信信信号号号号）；为为为为网网网网络络络络的的的的实实实实际输出，际输出，际输出，际输出，；为网络所有权值组成的向量：为网络所有权值组成的向量：为网络所有权值组成的向量：为网络所有权值组成的向量：为输入模式：为输入模式：神经网络学习算法神经网络学习算法33其中训练样本数

37、为其中训练样本数为其中训练样本数为其中训练样本数为 。神神神神经经经经网网网网络络络络学学学学习习习习的的的的目目目目的的的的是是是是通通通通过过过过调调调调整整整整权权权权值值值值WW，使使使使误误误误差差差差准则函数最小。准则函数最小。准则函数最小。准则函数最小。权权权权值值值值的的的的调调调调整整整整采采采采用用用用梯梯梯梯度度度度下下下下降降降降法法法法来来来来实实实实现现现现，其其其其基基基基本本本本思思思思想想想想是是是是沿沿沿沿着着着着E E的的的的负负负负梯梯梯梯度度度度方方方方向向向向不不不不断断断断修修修修正正正正WW值值值值，直直直直到到到到E E达达达达到到到到最最最最

38、小。数学表达式为：小。数学表达式为：小。数学表达式为：小。数学表达式为：神经网络学习算法神经网络学习算法34其中其中令令 ，则则W的修正规则为的修正规则为上式称为上式称为学习规则，又称误差修正规则。学习规则，又称误差修正规则。神经网络学习算法神经网络学习算法351.1.神经网络特征神经网络特征v 神经网络具有以下几个特征：神经网络具有以下几个特征：v（1 1）能逼近任意非线性函数；）能逼近任意非线性函数；v（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；v（3 3）可以多输入、多输出；）可以多输入、多输出；v（4 4）便于用超大规模集成电路（）便于用超大规模集成电路（VIS

39、IVISI）或光学集成电路系）或光学集成电路系统实现，或用现有的计算机技术实现；统实现，或用现有的计算机技术实现；v（5 5）能进行学习，以适应环境的变化。）能进行学习，以适应环境的变化。神经网络特征及要素神经网络特征及要素362 2 神经网络要素神经网络要素 决定神经网络模型性能的三大要素为：决定神经网络模型性能的三大要素为：（1 1）神经元（信息处理单元）的特性；）神经元（信息处理单元）的特性；（2 2）神经元之间相互连接的形式）神经元之间相互连接的形式拓扑结构；拓扑结构；（3 3）为适应环境而改善性能的学习规则。）为适应环境而改善性能的学习规则。神经网络特征及要素神经网络特征及要素37神

40、经网络控制的研究领域神经网络控制的研究领域（1 1）基于神经网络的系统辨识基于神经网络的系统辨识 将将神神经经网网络络作作为为被被辨辨识识系系统统的的模模型型，可可在在已已知知常常规规模模型型结构的情况下，估计模型的参数。结构的情况下，估计模型的参数。利利用用神神经经网网络络的的线线性性、非非线线性性特特性性，可可建建立立线线性性、非非线线性性系系统统的的静静态态、动动态态、逆逆动动态态及及预预测测模模型型，实实现现非非线线性性系统的建模和辨识。系统的建模和辨识。38(2)(2)神经网络控制器神经网络控制器 神神经经网网络络作作为为实实时时控控制制系系统统的的控控制制器器，对对不不确确定定、不

41、不确确知知系系统统及及扰扰动动进进行行有有效效的的控控制制，使使控控制系统达到所要求的动态、静态特性。制系统达到所要求的动态、静态特性。(3)(3)神经网络与其他算法相结合神经网络与其他算法相结合 将将神神经经网网络络与与专专家家系系统统、模模糊糊逻逻辑辑、遗遗传传算算法法等相结合，可设计新型智能控制系统。等相结合，可设计新型智能控制系统。神经网络控制的研究领域神经网络控制的研究领域 39(4)(4)优化计算优化计算 在在常常规规的的控控制制系系统统中中，常常遇遇到到求求解解约约束束优优化化问问题题，神神经经网络为这类问题的解决提供了有效的途径。网络为这类问题的解决提供了有效的途径。目目前前，

42、神神经经网网络络控控制制已已经经在在多多种种控控制制结结构构中中得得到到应应用用，如如PIDPID控控制制、模模型型参参考考自自适适应应控控制制、前前馈馈反反馈馈控控制制、内内模模控控制、预测控制、模糊控制等。制、预测控制、模糊控制等。神经网络控制的研究领域神经网络控制的研究领域 40多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输层）、

43、输出层组成，信号沿输入入输出的方向逐层传递。输出的方向逐层传递。41多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经个神经元的输入和输出，则各层的输入输出关系可描述为：元的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 第二层（隐层）第二层（隐层）第三层（输出层）第三层（输出层）42多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可学习

44、的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。能接近期望的输出。假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 定义学习的目标函数为定义学习的目标函数为：43多层前向多层前向BP神经网络神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：令令 则则44多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本，将，将Xk输入网络。输入网络。（2）依次计算）依次计算，如果，如果，退出。，退出。（3）计计算算（4）计计算算（5），修正，修正权值权值，

45、返回（，返回（1）如果样本数少，则学习知识不够；如果样本多，则需计算更多的如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw,，训练，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw,，调，调整权值。整权值。45例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：46网络输入输出关系：网络输入输出关系：需训练的量：需训练的量：47训练算法：训练算

46、法：48训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;49训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.190

47、0 1.5406 1.6665 -0.1441;50训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：51训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况52BPBP网络的优点为：网络的优点为：（1 1）只只要要有有足足够够多多的的隐隐层层和和隐隐层层节节点点，BPBP网网络络可可以以逼逼近近任任意的非线性映射关系；意的非线性映射关系；（2 2）BPBP网网络络的的学学习习算算法法属属于于全全局局逼逼近近算算法法，具具有有较较强强的的泛泛化能力。化能力。（3 3）BPBP网网络络输输入入输输出出之之间间的的关关联联信信息息分分布布地地存存储储在在网网络

48、络的的连连接接权权中中，个个别别神神经经元元的的损损坏坏只只对对输输入入输输出出关关系系有有较较小小的的影响，因而影响，因而BPBP网络具有较好的容错性。网络具有较好的容错性。53BPBP网络的主要缺点为：网络的主要缺点为：（1 1）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；（2 2）目目标标函函数数存存在在多多个个极极值值点点，按按梯梯度度下下降降法法进进行行学习，很容易陷入局部极小值；学习，很容易陷入局部极小值；（3 3）难难以以确确定定隐隐层层及及隐隐层层节节点点的的数数目目。目目前前，如如何何根根据据特特定定的的问问题题来来确确定定具具体体的的网网络络结结构构尚尚无无很

49、很好好的方法，仍需根据经验来试凑。的方法，仍需根据经验来试凑。54v由由于于BPBP网网络络具具有有很很好好的的逼逼近近非非线线性性映映射射的的能能力力，该该网网络络在在模模式式识识别别、图图像像处处理理、系系统统辨辨识识、函函数数拟拟合合、优优化化计计算算、最最优优预预测测和和自自适适应应控控制制等等领领域域有着较为广泛的应用。有着较为广泛的应用。v 由由于于BPBP网网络络具具有有很很好好的的逼逼近近特特性性和和泛泛化化能能力力，可可用用于于神神经经网网络络控控制制器器的的设设计计。但但由由于于BPBP网网络络收收敛速度慢，难以适应实时控制的要求。敛速度慢，难以适应实时控制的要求。55vB

50、PBP网络逼近仿真实例网络逼近仿真实例v使用使用BPBP网络逼近对象：网络逼近对象：BPBP网络逼近程序见网络逼近程序见chap7_1.m chap7_1.m 56vBPBP网络模式识别网络模式识别v由于神经网络具有自学习、自组织和并行处理等特征，并由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络具有模具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能力式识别的能力v在神经网络模式识别中，根据标准的输入输出模式对，采在神经网络模式识别中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训用神经网络学习算法，以标