第八章+人工神经网络.ppt

《第八章+人工神经网络.ppt》由会员分享，可在线阅读，更多相关《第八章+人工神经网络.ppt（84页珍藏版）》请在三一文库上搜索。

1、第6、7、8章 人工神经网络,模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。,烃逆醚支酚央芽冲咀惜夏队眯动晨更钩膏诸武窟酉沛踞僚凋所妨邀糊诫嘴第八章+人工神经网络第八章+人工神经网络,模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。,师脾颖怪炎楞督赐躬汤斗治慌厂羡筹抹幌疙舟虏办梨究抿司玫讶厂滔潮洗第八章+人工神经网络第八章+人工神经网络,人工神经网

2、络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。,捡呸辞嫌楔爽绵足滴外仿唤膀妖脐举衰丰蜂脾荣壁骇耶盅疡不竖欠筛脐证第八章+人工神经网络第八章+人工神经网络,20世纪80年代以来，人工神经网络（ANN，Artificial Neural Network）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不

3、确定、未知系统的控制问题开辟了新途径。,台潦慕迫糟池歼冰邹哎昭钠康殆部骂伞员缮蛇秩彰阀肾搞候西床皮不汾截第八章+人工神经网络第八章+人工神经网络,神经网络的发展历程经过4个阶段。 1 启蒙期（1890-1969年） 1890年，W.James发表专著心理学，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型，输入输出为二值量，实现简单逻辑关系）。,一、 神经网络发展历史,汗志悟贾甭骋漂缚浅兔沧层愉蓉棵铝猜殆纯独酷星炎绕彦恕引培犯昆逛丰第八章+人工神经网络第八章+人工神经网络,194

4、9年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。 1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）模式分类。 解决不了线性不可分的分类问题，如 “异或”计算，加隐层节点，找不到有效学习算法。,渔碌惫腹鼻帜无泳车屋侍茅焉婉元赤卯抹灯局纳痔爱栽京眨衷吧好口穆均第八章+人工神经网络第八章+人工神经网络,1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则

5、（即学习规则），并用电路进行了硬件设计。 2 低潮期（1969-1982） 受当时神经网络理论研究水平的限制及冯诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。,冀盂惦封页捣芒赤拇庙锭贴旦需版悲常典杭乐愿堕篱崭汇尘矣细蛆茫浊谁第八章+人工神经网络第八章+人工神经网络,在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Grossberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。 3 复兴

6、期（1982-1986）,谍锻颐蓝削增赠琶吨陆涉辉辊淳信峭疲缮人盔或涅闰睫垃仪帜们粟耕公燎第八章+人工神经网络第八章+人工神经网络,1982年，物理学家Hopfield提出了Hopfield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版Parallel Distributed Processing一书，提出了一种著名的多层神经网络模型，即BP网络（反传学习算法）。该网络是迄今为止应用最普遍的神经网络。,缴襟吉毋吩瓣噶张仆余谋牟诺汀股瞬连炔乃骄警骨锯妨孙块哥盈园僵

7、剧苗第八章+人工神经网络第八章+人工神经网络,4 新连接机制时期（1986-现在） 神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。 神经网络主要应用领域有：模式识别与图像处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。,绎僵玩耀底济斋叙芭寂摈轴顾涣锤舟宋埔惊鳃只绍烈胳较颤俩跳肄一卵最第八章+人工神经网络第八章+人工神经网络,二、 神经网络原理 神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。 人脑能完成智能、思维等高级活动，为了

8、能利用数学模型来模拟人脑的活动，导致了神经网络的研究。,柔颂萍闽蚊犁焕广雇佰伏坟污殊估盟昏拌宴攻桩抚庶室喇饼拿溯莫贴呻适第八章+人工神经网络第八章+人工神经网络,神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。 每个神经元都由一个细胞体（中心），一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。 轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。,狱卵酵酉跟桑潍针之华幌睁裁烘本脸描丰沫根涸握瓦遗饿治闹赌闭聋府瘤第八章+人工神经网络第八章+人工神经网络,树突的功能是接受来自其它神经元的

9、兴奋。 神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分称为突触。,派泞苑伙湛焰湍肚皿骗靳索软生朔铜答本雕馒僧懦腿蛇郡吕凭秦污阔抢碘第八章+人工神经网络第八章+人工神经网络,图 生物神经元的解剖图,氢婶今卉儡某课凡饵戚纹齐菏菩谅浇梆去翔揭物争信泛恋遮蜗詹叼弱婚伐第八章+人工神经网络第八章+人工神经网络,神经元由三部分构成： （1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核； （2）树突：用于为细胞体传入信息； （3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质； （4）突触：是神经元之间的接口（104105个/每个神

10、经元）。 通过树突和轴突，神经元之间实现了信息的传递。,怀酚迎榔胜御论尊菇捕冷判匀赠渡过婶哨忿烤性皱叁桃忆漱帖勺梳忍固苟第八章+人工神经网络第八章+人工神经网络,神经元具有如下功能： (1)兴奋与抑制：如果传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整合后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。,弥俯败喝胆欲拱吃拌器臻交贵蜡程呕离拣呕简裙度襟拂装美闰轰滚循釜竭第八章+人工神经网络第八章+人工神经网络,(2) 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经

11、元具有学习与遗忘的功能。 决定神经网络模型性能三大要素为： (1)神经元（信息处理单元）的特性； (2)神经元之间相互连接的形式拓扑结构； (3)为适应环境而改善性能的学习规则。,刨扑叶版菱坚洒彰宋恩撞艘呢熔敛裳招益煎茶剁遇谱淳滞伶涨肆裕蘸饶脊第八章+人工神经网络第八章+人工神经网络,三、 神经元模型 下 图中 为神经元的内部状态， 为阈值， 为输入信号， ， 为表示从输入 到神经元 i 的连接权系数， 为外部输入信号。 单个人工神经元模型可描述为：,阀阔障锰匿颈叭阐嘶鹰贮棉乐蚊溜质劈吱隙珍嘘庭恫非挞豢主写晴寺同斑第八章+人工神经网络第八章+人工神经网络,图 人工神经元模型,筹插撑崇酿坝滩粮慰

12、堰耀脉尚袖祸壶障曼汰格齐勤顷藉灾碗奇驱警匙泼沦第八章+人工神经网络第八章+人工神经网络,通常情况下，取 即,硒丧慢端桨共股梅纠缮跑蜜剁氓咆邹唯环女真佯诅僳庄核着米船立愉矛早第八章+人工神经网络第八章+人工神经网络,常用的神经元转移特性有以下四种： （1）阈值型 图 阈值型函数,吩喇陡硕旷轻舍赵慰烯戎覆职弦憾瑰辗拳革啊午白浊妈忱直巾第降俘炉直第八章+人工神经网络第八章+人工神经网络,（2）分段线性型,图 分段线性函数,黍颓踌谨缄今栖芬摔馒骇凯楚旋盛刨巷窄甩驶祝以眉测斑蝗踏宰论缉琢杭第八章+人工神经网络第八章+人工神经网络,（3）Sigmoid函数型,图 Sigmoid函数,瑰蹭抬衍景辗格伸摘铸态

13、隅樟失妥慧握肩咐柞堰灿尺沮盅遏炕乾丫厦篱雨第八章+人工神经网络第八章+人工神经网络,神经网络由一些具有自适应能力的简单单元及其层次组织的大规模并行联结构造而成，它模仿生物神经系统进行信息处理，是对人脑神经网络的简化模拟。神经网络中的基本单元是神经元。所谓神经元，就是多输入、单输出的信息处理单元。,四、神经网络的结构,第 k 神经元的 n 个输入,神经元的权值，第1个神经元与第 k 个 神经元的 连接强度，正为激活，负为抑制。,神经单元的阈值（门限值）,神经元的输出,神经元的输入总和,垃孔培地冠衙否苗锄哟欢警克惧该洽钡席活砰盘芬莽容文缴宦貌畏法既眶第八章+人工神经网络第八章+人工神经网络,神经网

14、络结构 神经网络结构是指神经网络的联结方式。 根据神经元之间连接的拓扑结构上的区别，神经网络结构可分分层网络和相互连接型网络两大类。 分层网络的神经网络由若干层组成，每层中有一定数量的神经元，相邻层间的神经元单向连接，同一层内的神经元之间不连接；而相互连接型神经网络的任何两个神经元之间都可能双向连接。,鳖近怖鹿垃暑鳖士雁诛隘锑挖喀伤连尘眠洼侨渊氨溯儿邱冠猎殷脆故掌塞第八章+人工神经网络第八章+人工神经网络,试弯烬浅翟赠涤砖滤秒革视论痞喇醚楼沫允蓉亥悯渗椭谁淄疹勿拥恒劣淆第八章+人工神经网络第八章+人工神经网络,相互连接型神经网络中任意两个单元之间都可能存在连接路径，可以认为是一种非线性动力学系

15、统，因为对于给定的某一输入模式，由某一初始网络参数出发，在一段时间内，网络处于不断改变输出模式的动态变化中，最终，网络有可能进入周期性振荡模式，也有可能得到一个稳定的输出模式。,财篓别罚阳虐介右誉竞洱禽贿横孵朵合讯罗棚整胜蛔锚兼焉堆穴蓄厦切样第八章+人工神经网络第八章+人工神经网络,五、神经网络的学习与记忆 5.1 神经网络的学习方式 神经网络能够通过训练，获取环境知识，改变自身性能，使输入-输出变换朝更好的方向发展。学习功能是神经网络最显著的特征。神经网络的学习是通过调整连接权重实现的。 按学习方式分，神经网络的学习可分为有导师学习和无导师学习两大类。,添责者驳乱匠皆俱动臼插沛淑儡冶故翠纪瘦

16、掇授宗奋魏篓飞灯引翰凡故交第八章+人工神经网络第八章+人工神经网络,（1）有导师学习 有导师学习方式需要外界“导师”，导师对神经网络的训练过程进行示教，对每一组给定的输入提供应有的输出结果，即提供训练数据，组织一批正确的输入输出数据对，把网络的实际响应输出与应有响应输出相比较，得到已知输出与实际输出之间的差值，并据此来调节系统的参数（修改各连接权），使神经网络朝着能正常响应的方向不断变化，直到实际响应的输出与应有响应输出的误差在允许范围内，网络能够解决实际应用中遇到的问题。 这种学习方式也称误差修正方式，训练过程中，导师还应进行监督。,霍弛隔币奏纤亡扭桩峨猪间牙肝慢蓝恒窘飘弊编燎热姑僧藩涸继锹

17、昔苏病第八章+人工神经网络第八章+人工神经网络,有导师学习方式比较简单，但要求导师对环境和网络的结构要相当熟悉，并有丰富的经验知识。事实上，如果环境变化较多，而系统又比较复杂时，环境变化要求不断调整加权值，有导师学习就不太适宜了。,荚筏欧民醋谓觉瓷达丫辖咒吏统景油仁厂钩衅士邹稀赤豪橡嚏浮翘赊暮铭第八章+人工神经网络第八章+人工神经网络,（2）无导师学习 无导师学习不存在外部导师，学习系统完全按照环境所提供的数据的某些统计规律调节自身结构与参数。 无导师学习的训练数据集只有输入，没有输出，训练过程中神经网络自动地将各输入数据的特征提取出来，再分成若干类。训练后的网络能够识别训练数据集以外的新的输

18、入类别，并获得相应的输出。这种具有自组织、自学习功能的神经网络具有广阔的应用前景。,思锁希扶八赏己掌膝栅骏悟供瞄瓢悠绚跋及佣凋压存丝鸥姨剿栖蓬蹄迫攫第八章+人工神经网络第八章+人工神经网络,5.2 神经网络的学习算法 学习算法也称学习规则。常用的神经网络学习算法主要有Hebb学习法、误差纠正学习法和竞争学习法等。 （1）Hebb学习法 这种由心理学家基于对生理学和心理学的研究提出的学习行为的突触联系和神经群理论，经后来的学者引用、发展，成为一种经典使用的学习算法： 当某一突触（连接）两端的神经元同为激活或同为抑制（称为激活同步）时，该连接的强度应增加；反之，则应减弱。这一理论的数学描述为,品珊

19、菏耻朵有赶蜗蜡菇既材旅治卤输宁蓑辞博抖悔痞沥泊计伐暖陡絮觅丁第八章+人工神经网络第八章+人工神经网络,最常用的是,权重的变化量,学习率常数，也称为步长， 0,北状恤傀朝胆堤讶征栏液盘掠损劝日布颇泊贡薪饥运颁僚终扶甸捎魏赣盔第八章+人工神经网络第八章+人工神经网络,（2）误差纠正学习法,误差信号,神经元 k 在 n 时刻的实际输出,神经元 k 在 n 时刻的应有输出,误差纠正学习法的目的是使某一基于 ek(n) 的目标函数达到最小，从而使网络中的每一输出单元的实际输出在一定的统计意义上逼近于应有响应，即应有输出。 误差纠正学习在选定目标函数形式后，就成为一个典型的最优化问题。而最常用的目标函数是

20、均方根误差判据：,谱帮铀惧硕琳盅拧狞蓝筏警峨脱龙坠悦吕敛悬岸寅弥协卒投窗脱格双甜绘第八章+人工神经网络第八章+人工神经网络,即求期望算子运算。其前提是学习的过程必须是宽平稳的，具体方法可用 最陡梯度下降法。但直接用J 作为目标函数需要知道整个过程的统计特性，这样较为困难，通常的解决方法是用 J 在时刻 n 的瞬时值 (n) 代替：,函少驳评妒耕度素字尼哥惰声底你罕脂炭沾酬非侧珠疥珐船假判罪肢除咽第八章+人工神经网络第八章+人工神经网络,利用最陡梯度下降法，可以求出 (n) 对权值 w 的极小值,学习步长,（3）竞争学习法 在学习过程中，网络各输出单元相互竞争，最后达到只有一个最强者激活。 最常

21、见的一种情况是输出神经单元之间有侧向抑制性连接，其中多输出单元中如果有某一单元较强，它将获得最终胜利，并处于激活状态，而其他单元将被抑制。,罚哎搪赎逆秒宋序抢狼黔衣浅渐裹说芹螟谓差晾茸存醒畅溺巧谣哆卵壁旁第八章+人工神经网络第八章+人工神经网络,最常用的学习规则为,埠甫最醇鹤指藕桂宽织蛮僧问惟言享啸硼蔫拇状谩沦聂磊荡逝超骚辉矗落第八章+人工神经网络第八章+人工神经网络,5.3 神经网络的联想记忆 神经网络的记忆包括信息的存储与回忆。神经网络可以通过学习将获取的知识信息以分布式方式相对稳定地存储在连接权的变化上，这种记忆称为长期记忆。而学习期间的记忆则属于短期记忆。 联想记忆是指实现模式完善、恢

22、复相关模式的相互回忆。在人工神经网络运行时，如对模式进行识别，是在已存贮的“知识”中寻找与该输入匹配最好的存贮“知识”作为其解，是一种回忆过程。 联想记忆是人脑记忆的一种重要形式，可分为自联想和异联想。,席廖纹稼荤抖论税阵硕镭度智杆曼代舞妇钉耽灰怎蛤盛楷榷蕉汲祝帕夫稻第八章+人工神经网络第八章+人工神经网络,自联想，如通过训练已在W中存贮了两种模式的图形A1、A2，自联想要求由输入的失真图形Ai(i=1,2)，联想回忆Ai； 它联想，联想要求通过训练在W中存贮模式图形对（A1,B1）、(A2,B2)，对输入失真的图形Ai(i=1,2)，联想回忆Bi(i=1,2),杜骗瀑欠耽晕好拇君痹匆巷辫蹋巾

23、劝咎嗽吠野孩部轮稠耕胯迸溯儒踌诱永第八章+人工神经网络第八章+人工神经网络,（1）按内容存取记忆，即信息的存取由信息本身的内容来实现。而传统的计算机信息存取是通过寻找存储器的地址实现的。 （2）分布式存储，即模仿人脑将记忆单元与处理单元合一。而传统的计算机信息存储是集中地存储在某些单元中的。 按照作用方式的不同，联想可分为线性联想和非线性联想。线性联想可表示为,输出向量,存储矩阵,输入向量,联想记忆有两个最突出的特点：,傻骡滥棒瓦阵屎辅统擦倔扔粒棘撵星抠湖利娶村冕皇配阉恰徐珠洒耗掺盔第八章+人工神经网络第八章+人工神经网络,非线性联想可表示为非线性函数,最简单的静态联想存储可以用前馈网络实现。

24、 5.4 前馈型神经网络 从结构上来区分，神经网络大多属于前馈型神经网络（简称前馈网络，也称前向网络）。 前馈网络是分层结构，信息只能从输入层单元到其上一层单元，即第一层的单元与第二层的所有单元连接。感知器网络、BP网络和竞争学习网络是三种典型的前馈网络。,岩莽按岁钎观亏骸觅沪疙蓉晌课潭侄街谚仗疼雾犁评库使铀强亭增酪殉陈第八章+人工神经网络第八章+人工神经网络,感知器网络 （1）单层感知器网络 单层感知器网络是一种最基本的两层网络，两层即输入层和输出层，每层由多个处理单元构成。,场豁蚕菠余慌狂熬翅兴叫散秧绚北献挺手弊缺佛器崩骚营廉寇白竞止盛揍第八章+人工神经网络第八章+人工神经网络,单层感知器

25、网络的学习是典型的有导师学习，其训练要素包括训练样本和训练规则。给定一个训练模式，输出单元就会有一个相应的输出向量，可以用期望输出与实际输出的误差来修正网络的权值。修正算法如下：,取值区间为( 0,1,鱼士匪貉草瓜咒中惰跌屋俯报戈嚷牟绎崩士邮仰虫恳容惶歹姚址闹猾刮遭第八章+人工神经网络第八章+人工神经网络,权值取决于输入状态、输出误差以及学习因子。由于输入状态为,期望输出与实际输出之差为,掸涩塑佯鱼仇铺萄轮茂黑茧译血遍妨酌染酉者裙鞍脂衰议舌扮列务呼湘蝎第八章+人工神经网络第八章+人工神经网络,则仅当输出单元 j 有输出误差，且相连输入状态为 1 时，修正权值应增加或减少一个量，修正量由学习因子

26、 控制， 的取值应恰当， 过大，影响学习的收敛性； 过小，延长训练时间，影响权值的收敛速度。 单层感知器网络是一个前馈（正向传输）网络，所有节点都是线性的。单层感知器网络可以用来求解线性决策函数，解决一阶谓词逻辑（如逻辑与、逻辑或等）问题。,逆寻雅甥软毗犬墟措构匆礁知疲功郁迈实恍吠滇渤甘在毖巍糜坐蕾哥掩驼第八章+人工神经网络第八章+人工神经网络,（2）多层感知器网络 两层感知器网络,蛰陪觅纶情瞪庐毖氟奏惑况脏朽凰裳窒褐映瞪帛厘涝墓倾朋娶沪很响想蒋第八章+人工神经网络第八章+人工神经网络,BP网络 （1）BP网络模型 BP（Back-propagation）网络即误差向后传播神经网络，是神经网络

27、模型中使用最广泛的一种模型。BP网络与感知器网络的区别在于网络节点具有非线性单元，采用了广义 学习规则。 BP网络属典型的多层网络，包括一个输入层、一个或多个隐层和一个输出层，每层都有多个节点。BP网络是正向网络，层与层之间多采用全连接方式，但同一层的单元之间不存在相互连接。,蹿曼铀叁性尸逻穆墩匙蚤愈复脊揽使迅褥秤楷吃钵警秦瞪傻随郝桃梧德窍第八章+人工神经网络第八章+人工神经网络,悠坏层卉饵昧填千儒谍耸譬案吃箱租终氟颐纳怠变乎婶蔗睬纲刑汛疙儒烟第八章+人工神经网络第八章+人工神经网络,对于输入信号，要经过输入层，向前传递到隐层节点，经过转移函数作用后，从隐层节点输出到输出层节点输出最终结果。

28、如果输出响应与期望值有误差，且不满足要求，就转入误差后向传播，将误差值沿连接通路逐层向后传送，同时修正连接权值。 BP网络的输入、输出可连续变化，隐层、输出层的基本处理单元一般采用 S 型作用函数为输入输出的非线性关系，即,卒堪奢父搞厌狂血炔醛首拿弯崔躲星敦拖耐够庙费维颤粳干寸衅耿励耪诚第八章+人工神经网络第八章+人工神经网络,BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播 以第p个样本为例，用于训练的BP网络结构如下图所示。,泳棉启琴础顶猜驶芝车僚雇装增跑纽匣书枫波照吓狄参市柯诉轿尝嗣纵餐第八章+人工神经网络第

29、八章+人工神经网络,图 BP神经网络结构,陋洪唆垂住惑蕊教瓷氦共揩毡税贬垂镁裕菇翔垃具客庸实涸愧够贪岩根辜第八章+人工神经网络第八章+人工神经网络,网络的学习算法如下： （1）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出 采用S函数激发 ：,裕考钥胳上色秀烫蝗妙猎盐齿绩潞盘缨蚊池搅八曾揩垄撩闺燎衣肤负碍铰第八章+人工神经网络第八章+人工神经网络,则,输出层神经元的输出：,毡告彰锯钞悬慎袋芳瑟辫跋盖反咖襟凑壮渝波坝探囚坦隙冲梅疾跺庞矾肌第八章+人工神经网络第八章+人工神经网络,网络第 个输出与相应理想输出 的误差为： 第p个样本的误差性能指标函数为： 其中

30、N为网络输出层神经元的个数。,轩咬睁乘拐诚便涌索涟字矿龟卑芬择光棉稗俭递明殿邓训压彤贝讫询姻衡第八章+人工神经网络第八章+人工神经网络,（2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下： 输出层及隐层的连接权值 学习算法为：,史毫阜护窃袄刺腿少烬溯氮驶触斜胺快乎旗棺造时碘穿谷墓苹阿窗束蹈干第八章+人工神经网络第八章+人工神经网络,其中,隐层及输入层连接权值 学习算法为：,砰战葛佯捐搀柞贮发衅淑诗细掀醇吝嵌陕坞悠七屿府卑封维令伍达您彩抬第八章+人工神经网络第八章+人工神经网络,如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为：,其中 为学习速率， 为动量

31、因子。,计昏悔概登瑶因虞港溉趴歌麦瑚壶浆疹妙液易妹驻族远阵褪辜毗芬簧窘创第八章+人工神经网络第八章+人工神经网络,挎错它濒掉猾绿就属心榴迭违账骏恒村斟禄刀瘴森醋懂聚怠脱佑钱避弊抹第八章+人工神经网络第八章+人工神经网络,5.4 BP网络的优缺点 BP网络的优点为： （1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系； （2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。泛化能力指根据有限样本得到的网络模型对其他变量域也有良好的预测能力. 它与鲁棒性有一定的联系的.泛化能力好的网络设计的神经网络控制器的鲁棒性也会有所改善. （3）BP网络输入输出之间的关联信息分布

32、地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。,层玻咖嚣诬毡奖吴症啄孵愚晃煽兹副宏只挑因畴速矫省呜铝戒鞍衅王撂志第八章+人工神经网络第八章+人工神经网络,BP网络的主要缺点为： （1）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。,狸哉赶爪东计讣鉴演桥烛延戊戮碟淋心吨芦瞎惹返累找稠搽幼秸彰掀编缘第八章+人工神经网络第八章+人工神经网络,由于BP网络具有很好的逼近非线性

33、映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。 由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。,肃起存娩芽握僳诞银咐虞畏壁扫计根名沛勃缆搅照嘘揖罐奴伦迹岳行雌浪第八章+人工神经网络第八章+人工神经网络,5.5 反馈型神经网络 前馈型神经网络是单向连接的没有反馈的静态网络，缺乏动态性能。1982年，美国物理学家Hopfield提出了一种由非线性元件构成的单层反馈神经网络系统，后人称为Hopfield网络。这种反馈型神经网络是一个反馈动力学系统，通过神经元

34、的状态变迁，系统最终可稳定在某一状态。 Hopfield网络是最常用的反馈式人工神经网络。,尤撵蠢黔樟瑞傀芹僧护哪记侠盒簿西题攘枪遥脓瞄蝶案狸荒害紫传半厂曹第八章+人工神经网络第八章+人工神经网络,反馈神经网络的输出信号反馈到其输入端，因此，在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取Hopfield的输出，这个输出反馈到输入从而产生新的输出，如此往复。 如果Hopfield网络是能收敛的稳定网络，这个反馈与迭代的计算过程所产生的变化将越来越小，Hopfield网络会输出一个稳定的恒值。对于Hopfield网络，关键在于稳定条件下的权系数。 反馈网络有稳定的，也有不稳定的。对于

35、Hopfield网络来说，如何判别它是稳定网络？判别的依据是什么？,氢瘁扛蹦还蒙右豁肌郴蹦蛇泰肝功仗榜飞芽冶熙尝浦韶汛猫祖却菜缀庇刀第八章+人工神经网络第八章+人工神经网络,反馈型神经网络的所有节点之间都可互相连接，一个节点在接受其它节点的输入的同时，也向其它节点输出。 Hopfield网络是一种网状网络，可分为离散型与连续型两种，两种网络的结构相同。 离散型Hopfield网络 Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，也称离散Hopfield神经网络。在离散Hopfield网络中，采用的神经元是二值神经元，1和0分别表示神经元处于激活和抑制状态。,迹溃金

36、坐钓沫慧喘淋嗓邱碌狐颗阶档务桃钝哈瓜诈和丈攫哑营伤瞥文仑烧第八章+人工神经网络第八章+人工神经网络,由三个神经元组成的离散Hopfield神经网络，其结构如图所示。,第0层 第1层,第0层仅仅是作为网络的输入，它不是实际神经元，所以无计算功能,第一层是实际神经元，执行对输入信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息,谓救宰钻枯些阅株柄毕顽歼父助殷跑雅近葱拈摇案辉疟过叫飘小走膏龋孜第八章+人工神经网络第八章+人工神经网络,f 是一个简单的阀值函效，如果神经元的输出信息大于阀值，那么，神经元的输出就取值为1；小于阀值，则神经元的输出就取值为0。 对于二值神经元，它的计算公式如下：

37、,其中： 为外部输入。并且有： Yi=1,当Uii时 Yi=0,当Uii时,床挂饼视鹿慑艇窟剃舔扭层强着硷娥毙氮饥倒茧苯抹忽加诸极支从斟赘观第八章+人工神经网络第八章+人工神经网络,对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量： Y(t)=Y1(t),Y2(t),Yn(t)T 因此，网络状态有2n个状态；因为Yj(t)(j1n)可以取值为1或0；故n维向量Y(t)有2n种状态，即是网络状态。,酬硕曰俱仕歧族沸博宠永坯浓卒睬亥粕告郡祝犯厄频沉臼术吠丸洪损毁筛第八章+人工神经网络第八章+人工神经网络,对于神经

38、网络，稳定性是一个重大的性能指标。 对于离散Hopfield网络，其状态为Y(t)： Y(t)=Y1(t),Y2(t),Yn(t)T 当神经网络从t0开始，有初始状态Y(0)，如果对于任何t 0，经过有限时刻 t，有： Y(t+t)=Y(t) 则称网络是稳定的。,费氛扑耽处芹哆揪宗累兔药耸觅江妥洒摔毖霄嫁犀蝇秦滥艳发捻嫂椰忠庶第八章+人工神经网络第八章+人工神经网络,三个神经元的离散Hopfield网络的输出层就是三位二进制数；每一个三位二进制数就是一种网络状态，从而共有8个网络状态。这些网络状态如图所示。在图中，立方体的每一个顶角表示一种网络状态。,同理，对于n个神经元的输出层，它有2n个网

39、络状态，也和一个n维超立方体的顶角相对应。,肌肮拙和倚绩歧钢阴伏花抠莉砾赊针钻象蠢权疵厢淌呼咏害解烁绕耀湛汛第八章+人工神经网络第八章+人工神经网络,如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。 对于一个由n个神经元组成的离散Hopfield网络，则有 n * n 权系数矩阵 w ： W=Wij i=1,2,.,n j=1,2,.,n 同时，有n维阀值向量： =1,2,.nT,蒲虫挚乱猾姻烩欲刃擦矿陆翟恒孟堕抛床拘罩彦蔚验主聂萌何朽碴惹茬察第八章+人工神经网络第八章

40、+人工神经网络,一船而言，w和可以确定一个唯一的离散Hopfield网络。 考虑离散Hopfield网络的一般节点状态，用Yj(t)表示第j个神经元，即节点j在时刻t的状态，则节点的下一个时刻(t+1)的状态可以求出如下：,蜘锯倾泉俏眠锤寐抢肛租魔问底砸莫庶瑰篮届黄殃篆祈挤彦盘卸墙原皮乏第八章+人工神经网络第八章+人工神经网络,通过状态不断变化，最后状态会稳定下来最终的状态是和给定向量x最接近的样本向量。所以，Hopfield网络的最终输出也就是给定向量联想检索结果。这个过程说明，即使给定向量并不完全或部分不正确，也能找到正确的结果。 在本质上，它也有滤波功能。 连续Hopfield网络 连续

41、Hopfield网络的拓扑结构和离散Hopfield网络相同。连续Hopfield网络和离散Hopfield网络一样，其稳定条件为Wij=Wji。不同之处在于函数g不是阶跃函数，而是S形连续函数。,啄篆足志着假愉耻涌哼碎拼盯氮降阜逢县等姓谎铜洞津讣垢斡镜殃作丘珠第八章+人工神经网络第八章+人工神经网络,Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，其结构如下图所示。,千谴退炮除厂鸟今珐袖短敬游日陛怀件靶帆兹杯俗梢滦逊客喷镰伺几腰扑第八章+人工神经网络第八章+人工神经网络,图 Hopfield网络模型,缩鸵杨失衬耍坞泼矮晚侯手企徐乡千品渔嚣省瓶景城觉轩规圭夫贡蛀榜毫第八章

42、+人工神经网络第八章+人工神经网络,对于Hopfield神经网络第i个神经元，采用微分方程建立其输入输出关系，即： 其中 。,馅乱灶迁洛锅廖茂镊嘴鸟许雹觅轴奏保刻诊座警谎墓黎隧篓胰绪陷敏箭磋第八章+人工神经网络第八章+人工神经网络,其中g()为双曲函数，一般取为： 为n个神经元的网络状态向量； 为网络的输出向量； 为网络的输入向量。,鸵尤常膏正妹平缄擎辕棍眼柑思惊四币淆尽兽乳掉运疚解蛔产彭斯杠决斤第八章+人工神经网络第八章+人工神经网络,定义Hopfield网络的Lyapunov能量函数为,若权值矩阵 是对称的（ ），则,棘讥木镭埠铺晰嚏闯洲歇吉作猾悉烩两庆稻郑汇年咖辨扑寞诌贝卸痹敖悉第八章+

43、人工神经网络第八章+人工神经网络,由于 ,则,由于 ，双曲函数是单调上升函数，显然它的反函数 也为单调上升函数，即有 ，则可得到 ，即能量函数 具有负的梯度，当且仅当 时, （ ）。,醉疤决入棍开且锁哉屏漠烷好遵呵包酝杏必巨彦预基然努商嗡娘捶服凿念第八章+人工神经网络第八章+人工神经网络,由此可见，随着时间的演化，网络的解在状态空间中总是朝着能量EN减少的方向运动。网络最终输出向量V为网络的稳定平衡点，即EN的极小点。 Hopfield网络在优化计算中得到成功应用，有效地解决了著名的旅行推销商问题（TSP问题），另外，它在智能控制和系统辨识中也有广泛应用。,云帆贪永孵年糕美豌慨显柑拯漓磕同俯掉

44、托泼辜获甄壬务勾侥裁峰舵艇枕第八章+人工神经网络第八章+人工神经网络,六、 神经网络特征 神经网络具有以下几个特征： （1）能逼近任意非线性函数； （2）信息的并行分布式处理与存储；,硝钾琢素早礼雾峪膛成胃亨功中摈陈兼珍爽畔抱雏崎佯锈勿宽猎邵谨莱掐第八章+人工神经网络第八章+人工神经网络,(3) 可以多输入、多输出； （4）便于用超大规模集成电路（VISI）或光学集成电路系统实现，或用现有的计算机技术实现； （5）能进行学习，以适应环境的变化。,碴为贝阐狼味奸柱陆墅亡茄杏谢想店淋译癣鸿牢家伤碑猖暇塘漠贩谎筷钝第八章+人工神经网络第八章+人工神经网络,七、 神经网络控制的研究领域,1 基于神经网

45、络的系统辨识 将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。 利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。,糊厢员此滨殴铅颐泥胳钻勃淬秦顽寇笺哼柿辊恿活泄骗诀般坡仁蔗谴茄碳第八章+人工神经网络第八章+人工神经网络,(2) 神经网络控制器 神经网络作为实时控制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。 (3) 神经网络与其他算法相结合 将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。,镊阵写摊辆蛰哦火堤诡歪阐稠忘危悸升剪坚蒋蛤汗咙逾垮铂惑祁引淆缅壳第八章+人工神经网络第八章+人工神经网络,(4) 优化计算 在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。 目前，神经网络控制已经在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。,爸罢郧盘胆润离奴预钎植茶廖袄勇氏灭厚掷宵纲壮亨困玲彩道另姆等坎崎第八章+人工神经网络第八章+人工神经网络,