《自组织神经网络.ppt》由会员分享，可在线阅读，更多相关《自组织神经网络.ppt（45页珍藏版）》请在三一文库上搜索。
1、1,第四章自组织神经网络（SONN),岳嫉讶蜘沁溢脸红扫丧基欧簿衍启器墨茅血健榜欣院狠嗓狡聊果惜堆抢赔自组织神经网络自组织神经网络,2,SONN概述,在人类的认识过程中，除了从教师那里得到知识外，还有一种不需要通过教师，自动向环境学习的能力，这种仅依靠环境刺激的“无师自通”的功能称为自组织学习方法。 在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。 1）区域性：视觉，听觉，预言理解，运动控制； 2）自组织：遗传加上学习； 3）记忆方式：一群元对应于一个模式； 4）兴奋刺激规律：墨西哥草帽型，中间强度大
2、，逐渐衰减，远离中心的受到抑制。,紊褥浙刺喂铱拣囱盟孙帅氢助攻倍居癌搬破遥佐膳蜡集例涨族扳痒腰娄烈自组织神经网络自组织神经网络,3,SONN概述,在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的动力学原理指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。 以竞争型神经网络为基础可以构成一些具有自组织能力的网络。如:自适应共振理论（Adaptive Resonance Theory）网络,自组织特征映射（Self-Organizing Feature Map）网络，对向传播（Counter Propagation）网
3、络。,带咕滩钟诬鄙吹诫渤孜漂铆已奸枕泪浆更柄仗踌伸巾阎吐屡舰碟联脸映蛆自组织神经网络自组织神经网络,4,竞争学习原理,竞争学习网络的第一个层次是输入层次，它接受输入样本。第二个层次是竞争层次，它对输入样本进行分类。对于某个神经元i的所有连接权之和为1，即 设输入样本为二值向量，各元素取值为0或1，竞争层单元j的状态按下式计算：,嘎楚卓为阂羚拟膝叔柏兢骄坠砒逆求搞驱恬破锹淀桥羚计寞二潜瓣板酗茄自组织神经网络自组织神经网络,5,竞争学习原理,在WTA(Winner Takes All)机制中，竞争层上具有最大加权的神经元j赢得竞争胜利，其输出为,竞争后的权值按下式修正,其中为学习参数(01,一般取
4、0.01-0.03)，M为输入层上输出值为1的神经元个数，即：,终彭挫巾钝座砸拓央泉溉潭慈佐佯氰乌尧役尚层籽字何比英赶灰揖酸雅准自组织神经网络自组织神经网络,6,竞争学习原理,当xi=1时，权值增加，而当xi0时，权值减小。即当xi活跃时，对应的第i个权值就增加,否则就减少。由于所有的权值之和为1，故当第i个权值增加或减少时，对应的其他权值就可能减少或增加。式中的第二项则保证整个权值的调整能满足所有权值的调整量之和为0，即,狈辜输偷东毖怜寡滴尤肿藕祭队扎肃歪溺军芽肃耀玛斥巢爬恼舅塌捉瞥怀自组织神经网络自组织神经网络,7,竞争学习原理,例: 给出一个竞争学习网络，如图所示，要求通过训练将输入模式
5、集划分为两类。设输入模式为：,分析所给出模式之间的Hamming距离(两个二进制输入模式不同状态的个数)，其模式的相似性可用下面的矩阵表示：,缆湘赏当手突淌杏雇骆懒钒溅踩孜瓮窟霜桌操甭所楔透邓敞驮熄粉雷厘樊自组织神经网络自组织神经网络,8,竞争学习原理,所谓两个模式彼此相似，是指其Hamming距离小于某个常量。本例中，x1、x2彼此相似，x3、x4彼此相似。前两个模式x1、x2与后两个模式x3、x4的Hamming距离较大。因此，输入模式自然可分为两类。网络训练完成后，得到如下两类：,每一类包含两个输入模式，同一类模式的Hamming距离为1，不同类模式的Hamming距离为2或3。网络的分
6、类原则来源于输入模式的固有特征。用不同的初始权值反复进行训练，网络仍然能自组织学习，完成正确的模式分类。,虾鹰毋鹏礼苔史靖碱河玲宛淤彰胀肪队翟丰檬圆属唁砾喊贺赁酞钮动喜争自组织神经网络自组织神经网络,9,竞争学习网络特征,在竞争学习中，竞争层的神经元总是趋向于响应它所代表的某个特殊的样本模式，这样输出神经元就变成检测不同模式类的检测器。竞争学习方法是网络通过极小化同一模式类里面的样本之间的距离，极大化不同模式类间的距离来寻找模式类。这里所说的模式距离指Hamming距离，如模式010与模式101的Hamming距离为3。 对这种竞争学习算法进行的模式分类，有时依赖于初始的权值以及输入样本的次序
7、。要得到较好的训练结果，例如图所示的模式分类，网络应将其按Hamming距离分为三类。,逝迎稠曹斤筛别装俘抽官已肖爱爬输逛柑谢阉蹿黑疤翅猖蛛潮苔呐鸡绪逮自组织神经网络自组织神经网络,10,竞争学习网络特征,假如竞争层的初始权值都是相 同的，那么竞争分类的结果 是：首先训练的模式属于类 1，由竞争单元1表示；随后训 练的模式如果不属于类1，它 就使竞争单元2表示类2；剩下 的不属于前两类的模式使单元3 获胜，为类3。假如不改变初始 权值分布，只改变模式的训练顺 序，这可能使竞争层单元对模式影响分类响应不一样，此时获胜的竞争单元1有可能代表类2或3，这种顺序上的不一样会造成分类学习很不稳定，会出现
8、对同一输入模式在不同的迭代时有不同的响应单元，分类结果就产生振荡。,恩敖扔仅递授礁寐志秤框骚鞍帐株刹墓联麻惭丧墒莫毯愈聪阎冉基继泅章自组织神经网络自组织神经网络,11,竞争学习网络特征,竞争学习网络所实现的模式分类情况与典型的BP网络分类有所不同。BP网络分类学习必须预先知道将输入模式分为几个类别，而竞争网络将给定的模式分为几类预先并不知道，只有在学习后才能确定。 竞争学习网络也存在一些局限性： （1）只用部分输入模式训练网络，当用一个明显不同的新 的输入模式进行分类时，网络的分类能力可能会降 低，甚至无法对其进行分类，这是由于竞争学习网络 采用的是非推理方式调节权值。 （2）竞争学习对模式变
9、换不具备冗余性，其分类不是大 小、位移、旋转不变的，从结构上也不支持大小、 位移、旋转不变的分类模式。因此在使用上通常利用 竞争学习的无监督性，将其包含在其它网络中。,滋川信硬怪永覆砌拎泞睡绝僧醒纶斟臣垄踪滦谗构思畅科镑绝孙当吝颇誊自组织神经网络自组织神经网络,12,自组织特征映射（SOFM）模型,自组织特征映射模型也称为Kohonen网络或者称为Self-organizing map，由芬兰学者Teuvo Kohonen于1981年提出。该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络。Kohonen认为，处于空间中不同区域的神经元有不同的分工，当一个神经网络接受外界输入模式时，
10、将会分为不同的反应区域，各区域对输入模式具有不同的响应特征。,SOFM模型的一个典型特性就是可以在一维或二维的处理单元阵列上形成输入信号的特征拓扑分布,因此SOFM模型具有抽取输入信号模式特征的能力。SOFM模型一般只包含有一维阵列和二维阵列，但可以推广到多维处理单元阵列。,砂锅陀造袱砧冤郝插胆恰景熔禹冯蔗纲妊伯攫么炭昨预诈蕊馆避惜浆湿热自组织神经网络自组织神经网络,13,自组织特征映射（SOFM）模型,Kohonen网络模型由四个部分组成： (1)处理单元阵列：接受事件输入，并且形成对这些信 号的“判别函数”。 (2)比较选择机制：比较“判别函数”并选择一个具有最 大函数输出值的处理单元。
11、(3)局部互连作用：同时激励被选择的处理单元及其最邻近的处理单元。 (4)自适应过程：修正被激励的处理单元的参数，以增加其相应于特定输入“判别函数”的输出值。,彻凭骆击考桥互丰甜荧帆林掐听卸放腔镐举撇厢满陛界虞漓赶哈玄屯敖钞自组织神经网络自组织神经网络,14,自组织特征映射（SOFM）模型,竞争层竞争规则： 在竞争层中，神经元的竞争是这样进行的：对于获胜的神经元g，在其周围Ng的区域内，神经元在不同程度上都得到兴奋，而在Ng以外的神经元都被抑制。 Ng可以是任何形状，但一般是均匀对称的，如正方形或六角形。 Ng是时间函数，用Ng(t)表示，随t增加，Ng(t)减小，最后达到预定的范围。 SOF
12、M网络在无教师示教的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来，这种表现方式的不同之处在于：它不是以一个神经元或者网络的状态矢量反映分类结果的，而是以若干神经元同时（并行）反映结果。与这若干神经元相连的连接权虽略有差别，但这些神经元的分类作用基本上是并列的，即其中任何一个神经元都能代表分类结果和近似分类结果。,创息烟吉衡枷氏镊庶幢信丢倍阅要段蔷佯揖陨伎叛风骄骂笑各姐贬字弃贡自组织神经网络自组织神经网络,15,自组织特征映射（SOFM）模型,此外，这种网络之所以称为特征映射网络，是因为网络通过对输入模式的反复学习，可以使连接权矢量的空间分布密度与输入模式的概率分布趋于一致，即
13、连接权矢量的空间分布能反映输入模式的统计特征。 可见，SOFM网络可用于样本排序、样本分类及样本特征检测等。,棚恿枢怖编蚁肄曰幼预猾秽赚邪娇颐陈卓引孰挝坝拆夷吴它贝尤贫狙阴揍自组织神经网络自组织神经网络,16,自组织特征映射（SOFM）模型,网络实际具有响应的输出单元k，该单元的确定是通过胜者全得(WTA)竞争得到的，即：,SOFM模型的输入输出单元之间是全连接的，其权值修正规则为,设网络输入为X ，输出神经元i与输入层单元的连接权为Wi，则输出层神经元j的输出oi为,邢老俗瘤元弘存拳簧垒弱剪略宪犬镇没驼谅瞬弘铲摘柬榷股寐歹费杯想婚自组织神经网络自组织神经网络,17,自组织特征映射（SOFM）
14、模型,Kohonen算法步骤： (1)初始化：对m个输入神经元到n个输出神经的连接权随机赋以较小的权值。置迭代次数T，学习参数(0)。选取输出神经元j的“邻接神经元”的集合Sj (0)，表示时刻t0时的神经元j的“邻接神经元”的集合。区域 sj(t) 随时间的增长而不断缩小。 (2)提供归一化的输入模式x。 (3)计算欧氏距离dj，即输入样本与每个输出神经元j之间的欧氏距离： 计算出一个具有最小距离的神经元j* 作为竞争获胜节点 (4) 按下式修正输出神经元j*及其“邻接神经元” sj(t) 的权值,菲碱唉索偷匡涯致过迸韵凯奉亏颊捞幕斡舷显趴嘶趾察漆屿熙裔氨刹岁潜自组织神经网络自组织神经网络,
15、18,自组织特征映射（SOFM）模型,(4) 重复输入所有样本直到达到迭代次数T,绪街惹奇肺易溪饿巫据守粟括内掩诣脱娄瘴矾窗燃奔喻版廓聋牡镐队愈又自组织神经网络自组织神经网络,19,化成极坐标形式：,自组织特征映射（SOFM）模型,泉一色只砍男智篇坟谦歌借案讯嫁喊沪戍邻祸苇潭立鬼鼎浇鹃攫惟耗烘宙自组织神经网络自组织神经网络,20,自组织特征映射（SOFM）模型,最终向量,章滚蛙首秽涧勃浸埃补贱行祟堵谨桑尔花侠骋黎班良相位靖殊笼其个录鼓自组织神经网络自组织神经网络,21,自产生与自组织神经网络（SCONN）,自组织特征映射神经网络存在以下局限： 当输入模式为圆形分布时，中心节点无法学习成为死节点
16、 由于输出层边界节点学习的次数远多于中心节点，因此存在明显的边界效应，需要很多的时间学习来消除 当输入模式拓扑结构比较复杂时系统会很不稳定 当输入模式序列不稳定时系统可塑性差 自产生与自组织神经网络：假定初始时刻网络节点数很少（甚至只有一个节点）而响应神经元的激励动态范围较宽，也就是说神经元对任何刺激都会响应，响应阈值随时间衰减至一个固定的水平。其中有一个神经元有最大激励但没有达到响应值，就产生一个子节点。,本萤懈膏赵以宅睬毕去婆就沤脓窗搏能色库倚斥滑洋鄙薯欲顺休秩菩坍脐自组织神经网络自组织神经网络,22,自产生与自组织神经网络（SCONN）,自产生与自组织神经网络算法： (1)初始化权系数、
17、响应阈值(t)、迭代次数、学习参数等 (2)输入新的模式 (3)计算输入模式与所有输出节点的欧氏距离 (4)选择距离最小的节点为竞争获胜节点 (5)判断获胜节点是否响应，若是转(6)，否转(7),耐限沉损剑厄淮梭铁起泅自翼莽岸吏暖雁顺辅赖帽锭核给帮变熔么匣眼血自组织神经网络自组织神经网络,23,自产生与自组织神经网络（SCONN）,(6)调节获胜节点（和家族节点）权系数，降低所有节点的响应阈值，转(2) (7)由非响应获胜节点产生一个子节点，降低所有节点的响应阈值，转(2) R(t)为区间(0,1)内的相似系数 上述算法的中止有三个准则：迭代次数T、输出节点数Sj、响应阈值(t)。,傅习沪菩逊
18、梳峦绵始管宗乞菊狐辙滩屿井阻值毛矫吠呀阔岔缚照述绣县瞥自组织神经网络自组织神经网络,24,对向传播网络（CPN）,CPN(Counter Propagation Network)由美国Robert Hecht-Niesen提出，它通过组合Kohonen学习和Grossberg学习而获得一种新的映射神经网络。CPN也被称作重复传播模型， 用来实现样本选择匹配，同时，CPN常被用作联想存贮、模式分类、函数逼近、统计分析和数控压缩等方面。,CPN是一个三层前向网络，各层之间全互连连接。隐含层称为Kohonen层，即竞争层，采用 无监督学习规则进行学习。输出层称为Grossberg层，它与隐含层全互连
19、，但不进行竞争。Grossberg层采用规则或Grossberg规则进行学习。,苗本铭袄瑟竹撤赊邯澜哗谰玄尔得嚣笛嫂彦这显截裹其霄观透钠藉南膝负自组织神经网络自组织神经网络,25,对向传播网络（CPN）,向网络提供的模式集为(X，Y)，X(x1,x2,xn)T，Y(y1,y2，ym)T。竞争层神经元的输出为Z=(z1,z2,zp)T。权值定义为：wji表示输入神经元i到竞争神经元j的权值，Wj(wj1，wj2，wjn)T；vkj表示竞争神经元j到输出神经元k的权值，Vk=(vk1，vk2,，vkm)T。由于输入层与隐含层之间采用竞争学习，所以权值矢量Wj的模应为1，即|Wj|=1 CPN的运行
20、过程为： 当输入矢量X送入网络时，xi是相应输入神经元i的活跃值。此时竞争层神经元j按下式对输入进行加权和运算，得到其相应的状态：,sj表示竞争神经元j的加权和，也就是其状态。然后，在竞争层神经元之间开始竞争，具有最大加权的神经元c将赢得竞争胜利，即,迹套仍性朵腻晤筹潦返弹铬岸潍杆隅涧淮狐掣瘁隆烷尚舌猜引弹徐婆镶姐自组织神经网络自组织神经网络,26,对向传播网络（CPN）,竞争结束后，竞争层神经元的输出zj为：,输出层神经元对竞争层神经元的输出进行加权和运算：,上式中，yk是输出神经元k的实际输出。由于zc是惟一的非零值，故有：,这样，输出神经元的输出只取其与竞争胜利的神经元c的连接权值,需酷
21、朋铺进词舜斗歉略吭用宅克冷虑捐伏窥珠池傍裔沦衫嫌龟己尧稳矛曹自组织神经网络自组织神经网络,27,对向传播网络（CPN）,CPN的学习过程为：,在学习期间，对Wj和Vk均要进行调整，分别使用两个不同的算法。首先，当赢得竞争胜利的神经元c确定后，这一神经元c就被选择用来表达相应的输入样本。仅仅是连接到神经元c的从输入层到竞争层的连接权值被调整，其他的权值保持不变。竞争结束后，开始计算网络的输出，并将其与理想输出相比较，然后改变隐含层与输出层神经之间的连接权值。 输入层与隐含层的权值按下式调整：,其中为学习常数(01)，其他的权值wji(jc)保持不变。对权值进行修改后应对其进行正则化，即除以欧氏模
22、，网络隐含层到输出层权值按规则进行学习：,骡橱安演烩另批姆呻效征分脉茨酚积拿掳仍撬卯河较枉难吴肌淘难芦惩伶自组织神经网络自组织神经网络,28,对向传播网络（CPN）,由于每次只有竞争胜利神经元c的输出为1，其他的隐含神经元的输出为0，因此只有连接到隐含层竞争胜利神经元c的权值被调整:,CPN要求对输入矢量进行正则化，即使得输入矢量的模为1:,正则化后的输入向量就位于一个单位超球面上，权矢量Wj=(wj1,wj2,wjn)T正则化后也位于该超球面上。对于竞争神经元j的状态，状态计算可写成矢量形式；,捞槐美瑟嘎脐瘦国凡裔钨恃树嫂餐竣搜刁刚敛疫铭柳殷谎蒸乳朱祥闹嗽辨自组织神经网络自组织神经网络,29
23、,对向传播网络（CPN）,其中，j为X与Wj之间的角度。由于|W|X|=1，故有,因而，具有最小角度的神经元就赢得竞争胜利。,滓朝牧污梧歇翠虫遍险盼励趴呈柴每涉最唁均谓爹烛栓碎碰瓮肺动炔壕砌自组织神经网络自组织神经网络,30,自适应共振理论（ART）模型,ART(Adaptive Resonance Theory)模型是一种自组织神经网络，由S.Grossberg和A.Carpentent等人于1986年提出。ART模型成功地解决了神经网络学习中的稳定性(固定某一分类集)与可塑性(调整网络固有参数的学习状态)的关系问题。 ART是以认知和行为模式为基础的一种无教师、矢量聚类和竞争学习的算法。在
24、数学上，ART由线性微分方程描述；在网络结构上，ART网络是全反馈结构，且各层节点具有不同的性质；ART由分离的外部单元控制层间数据通讯。ART与其他网络相比，具有以下一些特点： (1)神经网络要实现的是实时学习，而不是离线学习； (2)神经网络面对的是非平稳的、不可预测的非线性世界； (3)神经网络具有自组织的功能，而不只是实现有教师的学习； (4)神经网络具有自稳定性； (5)神经网络能自行学习一种评价指标(评价函数)，而不需要外界强行给出评价函数。,段履偷涌礼戏咎粥伞渭截瓢畔题幢怂偷翁谰剿掖悯塌瘁幅鸥坪亲越逊贸阜自组织神经网络自组织神经网络,31,自适应共振理论（ART）模型,(6)神经
25、网络能主动地将注意力集中于最有意义的特征，而不需要被动地由外界给出对各种特征的注意权值； (7)神经网络能直接找到应激发的单元，而不需对整个存贮空间进行搜索； (8)神经网络可以在近似匹配的基础上进一步学习，这种基于假设检验基础上的学习对干扰具有更好的鲁棒性； (9)神经网络的学习可以先快后慢，避免了系统振荡； (10)神经网络可实现快速直接访问，识别速度与模式复杂性无关； (11)神经网络可通过“警戒”参数来调整判别函数。,读卯诵嚎式垃尺秘荆陌缮犹刹奴锚粥赘土慢总硕歉宜霉懈姨衰孺沥眯织阎自组织神经网络自组织神经网络,32,ART1的基本原理,ART1的结构原理如图所示，模型分为两个子系统：注
26、意子系统和取向子系统。前者处理已学习的模式，也就是对已经熟悉的模式建立起精确的内部表示，后者处理新出现的模式，当不熟悉的事件出现时，它回 调注意子系统，在内部建立 新的内部编码来表示不熟悉 的事件。,在注意子系统中有两个非几 何意义上的层次来处理接受 到的信息，即F1和F2，短期 记忆。F1和F2之间的连接通 道为长期记忆。该长期记忆 又分为自上而下和自下而上 两类，它们都用相应的权值 来表示。注意子系统中的增 益控制使得F1可以对自上而 下的引发模式和自下而上的输入模式加以区分。,芥碉债的别闷逸瘸袒环赶佐漱尤梦桃俊袁驾洁聪溜瞥与两朽屹抉统辐广釉自组织神经网络自组织神经网络,33,ART1的基
27、本原理,(1)ART-1的工作过程: 注意子系统的F1接受外界的输入模式I，I被转换成F1中的单元工作模式X，即单元的状态(神经元的活跃值)，有,模式X被短期记忆(STM)在F1中。 在X中，足够活跃的节点(处于激活的单元)将产生F1的输出，激活输出S,S模式经过单向连接权LTM1(wij)输送到F2中，从而建立起F2输入模式T,封当玛骇堡硒蝗护红兼萍迢白机衣亦侗碴蜜矗妈尺赠恤寨良硫尊壮扼镁羔自组织神经网络自组织神经网络,34,ART1的基本原理,在F2中，T经过F2的神经元之间的相互作用，构成一个对输入模式T的比较增强的过程。相互作用的结果是在F2中产生一个短期记忆(STM)的模式Y(对比增
28、强模式)，也即是F2中神经元的状态：,该对比增强的过程就是在F2中选择一个与当前输入相对应的输出值为最大的神经元的过程。所选择的神经元是用来表示活跃模式的唯一的神经元(即能对输入模式作出响应的神经元)。 上述自下而上的过程如图所示。,自下而上过程,蝶梆屯姚众村舶克椽撞耍赎圣楷缕寥若素筏产犁透蜜献绣旬提耀级封崇钦自组织神经网络自组织神经网络,35,ART1的基本原理,由F2中产生的模式Y得到一个自上而下的激励信号模式U，只有Y中足够活跃的神经元才能产生U，这也是由阈值函数控制的：,F2的输出模式经单向连接权LTM2(wji)被输送到F1中，成为另一输入V，如右图所示。,自上而下过程,这祥F1中就
29、有两个输入模式V和I，V和I相互结合产生出模式X*：,藩维狙跑撕豁筏专纹扳灾辜繁匣露怒徘妙夺湃褥潜潜塌辅椽谎乌椅毡坦短自组织神经网络自组织神经网络,36,ART1的基本原理,X*与仅由I产生的X是不相同 的。特别地,F1要进行V和I之间的 匹配，匹配的结果用来确定进一 步的学习和作用过程。 当输入模式I在产生X的同 时，X对调整子系统A具有抑制作 用。现在由F2输入的模式V将可 能使这种对A的抑制作用发生改 变。当在F1中，V和I的非匹配程 度增加时，从F1到A的抑制就相 应减小。若匹配程度降低到足够 小，F1对A的抑制控制降低到某一限度时，A被激活而产生出一个控制信号送到F2中改变了F2的状
30、态，并取消了原来自下而上的模式Y和V，结束了V和I失配。如图所示。,调整子系统A被激励,彤弘票冤亿倡爪挞灭才词眩审蔗吐寺森辽增骏盯贯吝身西梭逢浇挤夺苟叫自组织神经网络自组织神经网络,37,ART1的基本原理,这样，输入模式I在F1中再 产生一个模式X，随后相继又产 生S和T，送入到F2中。由于在 F2中已有抑制信号存在，T就在 F2中产生一个新的样板模式Y*， 而不是原来的模式Y，如图所示。 新的Y*又产生出新的样板模式V*， 此时V*再与I匹配，如失配，则A 又被启动，在F2中又产生一个消 除信号。上述过程一直进行到V* 在F1中与I相匹配时为止。该过程 控制了LTM的搜索，从而调整了LTM
31、对外界环境的编码。 通过上述过程可知，信号模式在F1与F2之间来回运行(振荡)，不断地调整V*与I,直至与其匹配(共振)为止。,新一轮自下而上过程,藻吗苫粗立釜腐躯弓燥暑娥犀颠豌续隋毋逢废鞋帘品串刹俩夹雪欺残邓墟自组织神经网络自组织神经网络,38,ART1的基本原理,对于调整子系统的激励作用可以这样考虑： 当V*与I不匹配时，需要从A中送一个清除信号到F2中去。假定|I|表示I元素的个数，当IF1时同时产生一个信号P到A中，所有的I产生了P|I|。同祥假定F1中的神经元也产生一个信号Q(抑制)到A，用|X|表示F1中激活单元X的个数，则所有的抑制信号为Q|X|。当P|l|Q|X|时，A就收到激
32、励信号，产生一个清除信号到F2中。,讣牢眶嗡杖痹傀辉褒罢轰缺俞抵锑搅烩趾雄舞俐掉眉讨窖冒梁挛烁氢痛秃自组织神经网络自组织神经网络,39,2/3匹配规则,模式V和I的匹配是根据一定规则进行的,该规则被称为23匹配规则，这是根据F1可能的3个输入信号(自上而下的样板V、自下而上的输入模式I以及增益控制输入)中要有2个起作用才能使F1产生输出而命名。当自上而下过程3个信号源中如果只有一个在起作用，如图(a),因而F1不会被自上而下的模式提前激发。当在F1处理自下而上过程时，因同时接受到输入信号I和增益控制信号，F1被激活，如图(b)。当F1在自上而下和自下而上的信号同时作用时，增益控制被自上而下通道
33、抑制，F1中的神经元是否被激活，依赖于足够大的自上而下和自下而上信号的共同作用。只接受二个信号中的一个，神经元节点就不会起作用，所以失配部分不会被激活，如图(c)。图(d)表示模式之间的抑制连接，当子系统从一个模式向另一个模式移动时，这种抑制可以阻止F1提前发生激活。,翅衡雹推腹岛其素子勾繁裕肝钦哀按后须薄趴烯植党喳啤瘫紫初系略腊慨自组织神经网络自组织神经网络,40,2/3匹配规则,增益控制可以决定F1如何知道信号是来自下边的输入还是来自上边的反馈。因为当F2被激发，启动向F1输送学习样板时，增益控制就会给出抑制作用来影响F1对输入响应的灵敏度，从而使得F1区分自上而下和自下而上的信号。,锅搬
34、怎泣滨廓镐裕栖埃撅圭霄邦毗咱天粘返策伶胆除甩际诅堵先斯誉益沥自组织神经网络自组织神经网络,41,ART-1的学习算法,假定F1中神经元为vi，i1，,n；F2中神经元为vj，j1，m (1)初始化：,(2)输入新的样本; (3)计算匹配度;,阻咳香蚜抢期睡身果末艾铝把镊溅香猾臣枪黑擒割喜陀权析沽绑饯拦给耙自组织神经网络自组织神经网络,42,ART-1的学习算法,(4)选择一个最佳匹配样本： 这可通过输出节点的扩展抑制权值而达到。 (5)警戒线检验：,膨贾猜果唆媚攒祁宵几霍铭炒赵摇类柔击爷鹿异噶逸咒米枚辱罐棵抿类瘁自组织神经网络自组织神经网络,43,ART-1的学习算法,(6)重新匹配：把最佳匹
35、配暂置为0，不参加比较，再转向(3) (7)调整网络权值： (8)转向(2)，将第(6)步中的节点为0的限制去掉。 这是一种快速学习算法，而且是边学习边运行，输出节点中每次最多只有一个为1。每个输出节点可以看成一类相近样本的代表。由上述第7步修改权值时可知，一个输出节点从上至下的所有权值对应于一个模式，当输入样本距离一个这样样本模式较近时，代表它的输出节点被激活。通过警戒线的调节可调整模式的类数：小，模式的类别少，大，模式的类别多。,妙味捷舟磨客水呈沟不疟瘪鳞叛守驯搜窑渔绢绅套捐址氦瘸阮督析箱词主自组织神经网络自组织神经网络,44,A.Carpenter和S.Grossberg已经证明了与AR
36、T模型有关的几个定理，其中两个最重要的结论是： (1)当网络学习稳定后，如果将一个已学习过的模式提供给网络，那么该模式将正确地激活表示所在类别的F2单元，并且共振状态出现。这种“直接访问”特性意味着网络能迅速访问已存贮的模式。 (2)学习过程是稳定的，即网络对任何一个输入模式经过有限次学习后，能产生一组稳定的连接权向量。当这个输入模式重复提供给网络时，不会引起网络连接权无休止地循环调节。 此外，网络对任何一个输入模式，试图将它进行有类别的分类。如果分类不成功，则将它归入一个新的类别。不管分类成功与否，都将它存贮于网络之中。这个过程使网络边学习边回想，实现了在线学习功能。进一步地，网络通过选择恰当的警戒参数，可对任意数目的输入模式按要求分类。,狠抓寡比舟姐镁沤痹巳飞百迷霉砒陇亢惠涵粱站询帘农栈吹扳阮饶柒半婴自组织神经网络自组织神经网络,45,作业用自组织神经网络实现模式样本的自动聚类,群籍君费臀撩另离钮咬缸绎诺肝励闺磕契同扯托吃环粪晓挽伍樱老钱毋错自组织神经网络自组织神经网络,