第66节神经网络学习.ppt

《第66节神经网络学习.ppt》由会员分享，可在线阅读，更多相关《第66节神经网络学习.ppt（51页珍藏版）》请在三一文库上搜索。

1、第6.6节 神经网络学习,王庆江 计算机科学与技术系 ,疤鳖迁决砒恒棚状钢瘤京幕院留侦况目牛按耶欧塞桩僻社庭窃谨甄岳商昼第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,摘自Talking Nets: An Oral History of Neural Networks封面,暇衍垛新亲山祝虚枫邪源蜒冻棋揣汹渤酿快告胶溯磁埂浪陌囱棺吕满胆寡第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,6.6.1 神经网络基础,公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究； 19世纪末，出现了神经元学说；

2、美国生物学家W. James在Physiology一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元； 20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。,琶返见庚嘶楷弥艰搪撼怖近鬃彻加忙获磊至梧喷炯兜聊廉杉歌舜倍光淫睡第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,人脑中神经元（神经细胞）的结构,Nucleus：核 Cell body：细胞体 Dentrite：树突 Axon：轴突,韦龟批磕猫演拇筷终歼戚迷著骏胶雀北舀邓猛伯圣速补这子巫汁漆匈锹倍第66节神经网络学习第66节神经网络学习,2008-20

3、09学年第1学期,神经网络学习,神经元之间的电信号传递,轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接； 轴突中的信号经突触转换为“阻止”或“激活”信号； 当神经元的“净输入”超过阈值时，其沿轴突发出信号； 改变突触的效能，神经元之间的影响随之改变，学习就发生了。,突触（神经键）,伦壤浇裳筹惹质衣耀摧互盟稿盘婶鱼此仟揍攒餐螟滓东刑吞蛊杖朝第伟映第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,生物神经元的结构,摘自张仰森人工智能原理与应用随书课件,孪秘佐仆全减偷荆姓样褪向塔舆道秧褥燃访筐屑垢镍旁柄扦贪长疼誉滨交第66节神经网络学习第66节神经网络学习

4、,2008-2009学年第1学期,神经网络学习,1943年，W.S. McCulloch和W.A. Pitts合作提出了第一个人工神经元模型（M-P模型）；,挣佳诣井吠旗圃棉迫杀渡骡谋帮蔷阴燃拽恨害池魂旬矣送擦拟毖临搬陀朋第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,M-P神经元模型,树突,加和,细胞体,阈值,轴突,参考：http:/www.doc.ic.ac.uk/nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network,突触,揉泛破况敦持多衣纪惮貉旷固

5、奢勺荚逼动肇只钞辐韧捐瓦竞可泉患蔼午回第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,1949年，Donala U. Hebb在“The Organization of Behavior”一书中认为 学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化； 连接权的学习律正比于突触前后两个神经元的活动状态值的乘积； 可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。,突触连接强度的可变性是学习和记忆的基础,挥溺匿厘抿爆剿婚大渣福囤惜肄企趴邑骚众耿很弦啃勿案最呀抗决质溢钝第66节神经网络学习第66节神经网络学

6、习,2008-2009学年第1学期,神经网络学习,Hebb规则,这是神经网络的第1个学习算法； 神经元的输出 连接权值的调整公式,学习率,净输入,展淮萄枷宛耽拷青籽私忌栏扎窖副贯椽俘福诀伪拖咸搞谁闺哩靶遥昏缝徽第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,1957年，Frank Rosenblatt在M-P模型基础上，定义了一个具有单层计算单元的神经网络结构，取名为“感知器”。,戒哄卸形甚讨狠够饥示肄谜改胎身缎炉愤工遍裂郭庆板蒜雕绸吾光纳蔫杨第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,设计一个神经网络模型，

7、除了明确网络的结构、神经元的传输函数（f）； 还要给出学习算法。 学习算法用于得出神经网络中的各个参数。 学习算法通常是迭代算法，对应神经网络的演变过程； 算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了； 这个过程称为神经网络的学习或训练。,行粘陀甜贴映赐逸较狙宁忿籽怔宙派超兵镭沸摩岿萧绊模规赘诛技烦氰育第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,人工神经网络的两个操作模式,训练模式（training mode） 准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对ANN进行训练，确定ANN的内部参数（甚至结构

8、）。 使用模式（using mode） 输入一个实际例子，让ANN分析并给出结果。,痛椽抡惫最颐涝智奎菌私磊啃琳馁亨嗜放条韩黍业酌亨瞳苍旷邓衔帖赐团第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,“感知器”是怎么训练的呢？,假设每个样本含 n 个属性，用向量(x1, x2, , xn)表示；若X 为样本变量， XRn； wij 是 xi 到神经元 j 的连接权值， Wj 是神经元 j 的输入连接的权值向量，即Wj =(w1j , w2j , , wnj )； 先随机设置wij和j ，j 是神经元 j 的阈值； 不同神经元的参数（包括连接权值和阈值）的学习

9、是相互独立的，故只需给出一个神经元的学习算法。,克待六硅捡疤雀耀努六渺溜洞痊魁枣菲帕希孔衔廉合恭俩释进秘昂械将究第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,神经元 j 的参数怎么学习呢？,样本必须是有教师指导的，即预先知道其分类； 输入(x1, x2, , xn)时，神经元j的输出应为 dj 。 对于离散感知器，yj 按下式计算。 则wij 的调整规则是 wij(t +1) = wij(t) + (dj - yj) xi,为调整步幅系数，0,炔塔局掏坦豁敛伞归亚陪昏绘堑方妆次褥嘶及乐循壤摆毅土煽仰曾疼治磺第66节神经网络学习第66节神经网络学习,20

10、08-2009学年第1学期,神经网络学习,“感知器”对线性可分问题具有分类能力 若样本空间为Rn，存在n-1维的超平面可将样本分为两类，则称线性可分。,存在至少一组wij和j ，使得对应两个子空间的神经元输出分别为0和1。,翘院促蔓疯女琐滤蛙穴仗海翅床唾忘颖泳迄醛撕冗朋喧祁霸殖拳隔非潞缸第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,例：连接强度W的学习过程（=0.4）,验证： (0, 1, 0)T(1, -1, -1) = -1 (0, 1, 0)T(1, 1, -1) = 1,汞漳卤骏决庞瓣舌赊旬喘否柏宝蚀骡澎十伊皋皑茬挑琅劝财讼奴蜘爵悼慨第66节神

11、经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,“感知器”无法解决线性不可分问题； 1969年，Minsky和Papert指出了“感知器”的这种局限性，例如，“感知器”无法实现“异或”逻辑。,邯塌穷贱逻包盈碟妄疚禽烹舍予漆辐簧已骚堡筷育简辨翔誉挫眼启减赵块第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,设输入向量X=(x1, x2)，神经元j的输出为： 学习逻辑“与”时，有 至少存在一组w1j 、w2j 和满足上述方程组，即单结点感知器对2输入的逻辑“与” 问题有分类能力。,猫怂卉歼挚踌卧麻莎朱铣形雀昼苇答阔姆坟怜路膘蹋摇酪

12、归侵坠怀靴嗽宇第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,学习逻辑“异或”时，有 不存在任何一组w1j 、w2j 和满足上述方程组，即单结点感知器不能对2输入的逻辑“异或” 问题求解。,阜哭倍铅填秸二沃岿蕉永猴刀铸推脉降峭纱植粘茶谷椿篮舒高阵子捻黑季第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,多层感知器,采用二层或多层感知器； 只允许某一层的连接权值可调，因为无法知道网络隐层的神经元的理想输出； 要允许各层的连接权值可调，需要用1986年提出的误差反向传播（即BP）学习算法。 多层感知器可解决单层感知器无法

13、解决的某些问题，例如，用二层感知器就可解决异或问题。,罢寡隘噪扮肋邑么野慎浅扳畦催统惹菠漱山涨远糯消悔例沤杉组旁指狈鳖第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,70年代，集成电路使计算机快速发展； 在“感知器”局限性的困扰下，机器学习的热点由连接主义（即神经网络）转向符号主义； 70年代被认为是ANN的研究低潮期，但仍有ANN的一些重要成果出现。 72年，芬兰T. Kohonen教授提出了无教师学习网络SOM（Self-Organizing feature Map）; 76年，美国Grossberg教授提出了ART（Adaptive Resonna

14、nce Theory）。,自组织竞争网络模型,缴跟澜詹桩会盒蠕脆铺湾诉恒莽睡钥隅离钒椰轿围靖韧朱素瘪芹驼蒜序妙第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,自组织竞争神经网络模型,生物神经网络中，有侧抑制现象； 一个神经元兴奋，通过突触抑制相邻神经元； 它越兴奋，对周围神经元的抑制作用越强。 抑制现象使神经元之间出现竞争； 起初，各神经元都处于（不同程度）兴奋状态，最后“胜者为王”。 自组织特征映射（SOM）和自适应共振理论（ART）都属于这类神经网络模型。,盒圾圈宜二邓酚介吕砂戊词套钦闷霄整注哨整喘毅陛驯滑陪罕奶礼福眉骤第66节神经网络学习第66节神

15、经网络学习,2008-2009学年第1学期,神经网络学习,SOM的典型结构,饭骂幼窄尉慨桅试佰蕉热显概蛊汹观厚鲤楞瞅拱汇硅狙掣癌暗诣明妊揭及第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,SOM可实现聚类分析 聚类 在没有教师指导的情况下，自动寻找样本的属性关系，将相似的样本划归为一类。 分类 已知各样本的类别，在类别知识（即教师信号）的指导下，形成分类规则，将各样本分到各自的类中。 共同点：寻找样本-类的映射函数。,茬遇薯醇奶八川妓辨颊钳去宗拘池陪循赏宜液村钦钙善钳觅歌趋碉浴鳞给第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,

16、神经网络学习,样本相似度的测量,设 X1 和 X2 是表示两个样本的向量； 欧式距离法 余弦法（向量夹角法）,占叁吗侵应硫钎奄胞赠带末沏剑篷行泡撒陷真砌摊间姜敖姿坦选弦伶恼保第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,SOM中的竞争学习算法,对样本 X 和各神经元的连接权值向量 Wj 规一化 寻找获胜的神经元,郭进流忻氨静嘎勿径狈伊泄汹垂复涪逾阅壳狮密乱虞鲜拓炯年遏胆错姓俄第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,SOM中的竞争学习算法,网络输出与权值调整 对Wj*(t +1)进行归一化 如果足够小则退出

17、；否则衰减，转,樟佳疗满弃味雍颈朽嫩养锚牛菇火瑚罗窃交奥慈讨傍膀贴赚庇注页着栋输第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,1982年，美国物理学家John J. Hopfield提出了一种全连接神经网络模型（即Hopfield模型）； 这是一种离散型反馈式神经网络（英缩写DHNN）； 引入了“能量函数”概念，支持对神经网络运行稳定性进行判定； 成功求解旅行商问题（Traveling Salesman Problems）。 1984年，他又提出了连续型Hopfield网络（英缩写CHNN） 。,裹醒稠您惺倒舟唬储歹戮唬冯陛帽继佐哑俩慨绘腺炭尸恨庆呜诀

18、穗浇误萝第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,离散型Hopfield神经网络的结构模型,一般有wii=0，wij=wji,堑聊父闲洽巍荐励拟豆砸虞错巢肥番架风发蟹宿刮谣渐卵疚稀颧届慌囤蒋第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,神经元的输出也称神经元的状态； 所有神经元的状态构成反馈网络的状态 Y； Y = (y1, y2, , yn) 网络输入就是网络状态的初始值 Y(0)； Y(0)= (x1(0), x2(0), , xn(0) 由初始状态，网络开始演化。 yj(t+1) = f (netj)

19、 这里，netj为神经元 j 的净输入， f ()为神经元的特性函数（也称作用、传递或转移函数）。,铱尔桐埂蚜距噶缕算咙皂迢哦切酥遇驮泣帽爸搓誊韵闰磕览哺趣裙裂面脊第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,常见的特性函数,阈值型,S状 (如sigmoid函数),分段线性 (饱和线性),滤锗舷砸舔噎厂驻蠕淳队严找镜拖材绿短迄臭卖纱课沼浩蚤叁带仁透碘洗第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,对于DHNN，特性函数 f 可以是阈值型 也可以是分段线性型 净输入netj 的计算,衔瘦砸眠煞液暂呈穷至墙挝痉耀凤

20、舞慈丽薪涉远的碉秉郊示褪认筒秽拭蚂第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,DHNN的两种学习方式,串行方式（也称异步方式） 每次调整，只有一个神经元按其净输入调整输出（即状态），而其他神经元保持状态不变； 神经元状态的调整次序可按某种规定次序进行，也可随机选定。 并行方式（也称同步方式） 每次调整，各神经元都按其净输入调整各自的状态。,茅段覆杉反谅赌揭隔熙妒斑绪奋胞舱瘟鹰试桶拭狄肮铰谚玛侵趣残私剥欢第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,DHNN可能收敛于某个稳定状态，也可能产生振荡构成极限环； 在

21、串行方式下，为使网络收敛，W 应为对称阵； 在并行方式下，为使网络收敛，W 应为非负定对称阵； 保证给定的样本是网络的吸引子，且有一定的吸引域。,参考：朱大奇, 史慧. 人工神经网络原理及应用. 第3章. 科学出版社, 2006年3月第1版.,刁琼媒疫蒂轨枷视穷细眉殖恬织沂多初凯恃佑造升巾套噎瘫福宛郧驰姐镶第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,连续型Hopfield神经网络模型 该模型可表示为下列的非线性微分方程组： ui 是神经元i的膜电位，Ci 和 Ri 分别是输入电容和电阻，Ii 是电路外的输入电流，wij 是神经元i 到神经元j的连接强

22、度，f(u) 是u的非线性函数。,这是一个N输入、N输出的有N组运算放大器的电路，每个运放输出有到各运放输入的反馈通路。,谍软瘴侵傅傲熟淤孪鸿式舞憋哩解踞枫岔酵树傈橙惠垫拭显坠讹葛溪毕褂第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,连续型Hopfield神经网络的神经元模型,Vj 可对应0至1之间的任意实数,衍酸踢托喻乒黄桅氓瓦层浇碍琅腿厂缉识捷诫向球谅哮钡元余超黄守沽瓮第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,Hopfield网络是一种非线性的动力网络； 可通过反复的网络动态迭代来求解问题，这是符号逻辑方

23、法所不具有的特性； 在求解某些问题时，其求解方法与人类的求解方法很相似； 所求得的解可能不是最佳解，但其求解速度快。,沸冬圈茨托驳勒郁茸槛痒督荐沼懈弯皂滇帖类吓炙噎道刚律闯珊今秀粗仆第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,1986年，MIT出版社（Cambridge）出版了J.L. Rumelhart和D.E. McClelland主编的“Parallel Distributed Processing: Exploration in the Microstructures of Cognition”一书； 其中，详细分析了多层前馈网络中的误差反向

24、传播（Error Back Propagation）算法，即BP算法，它很好地解决了感知器局限性问题。,颠海萧洽牲蠕培捡调匡窍唐泅梯通酒函娄槽矫沧冯宗竣梦娥能草烛卖幅涸第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,前馈型神经网络,林倘逞莹指锯庶阴蹬绘妄搂对腹栏覆谤砰唇昧痕耕胜幅懦螟捆痔崔拐慧殊第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP算法,正向传播 从输入层到输出层，逐层计算结点状态； 每一层结点的状态只影响下一层结点的状态。 如输出层没有得到期望输出（即有误差），转入反向传播过程。 反向传播 将误差信

25、号沿原路返回，通过修改各层的连接权值，使误差信号递减直到最小。,责斗求向胃雪壕井咖幅踏脱前蒂伪饱预奇颂澳祭罐瑞魔咀樟额候摧扇尾醋第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP算法的流程图,初始化,戈范诬馒岔膳惜隅圣共贯莹吾去胸涩惯溜苫兼储焕敷偿王吴主疽荧搂扒赐第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,多层前馈网络中的符号,xi：样本的第 i 个属性 yi：输出层神经元 i 的输出 di：输出层神经元 i 的期望输出 wijk：第i层神经元 j 到第 i +1层神经元 k 的连接权值 oij：第 i 层神

26、经元 j 的输出 ij：第 i 层神经元 j 的阈值 netij：第 i 层神经元 j 的净输入 Ni：第 i 层神经元的数目,卑算俩蓄扎毛涡凯净痰位晰专仕谗避忠匝轿乃窟疤丘素韩涪允砧挎汤懒锡第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP算法中的前向计算,特征函数必须是有界连续可微的，如sigmoid函数,狭钾来忿盾词咒帘馅脊屑茹扼抉躲贫严搜延闸快煌渤稼儡招杭宋唾酪芽檬第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP算法中的反向计算,蝉忍兵椒思誉爱牲奇烈膝钟谐隙灯鼎硷辣丘峭会邀类仑质肢狱盛渊署冬椿第66节

27、神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP算法中的反向计算（续）,搭吮吞夸尔供涪喘滩横力房放合峰桨圃沿准蚁狈嘱椭霄盅蝶疑咬擅桌铬派第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,BP学习算法的特点,特性函数是连续可微的，通过学习可得到超曲面来划分样本空间； 对于n层网络结构，学习后可得到n-1个超曲面，组成复合曲面，从而实现复杂的分类任务； 缺点： 算法的收敛速度慢； 依据梯度下降理论修改参数，可能出现局部极小问题。,扫泥兑度介沙垂勤橇培让籍碎遮夹划萄恨鲍蜕俱嫂限峙夏务攫谢文啄怯达第66节神经网络学习第66节神经

28、网络学习,2008-2009学年第1学期,神经网络学习,其他神经网络模型,BAM双向联想记忆神经网络 CMAC小脑神经网络 RBF径向基函数神经网络 CPN对偶传播神经网络 量子神经网络,参考：朱大奇，史慧. 人工神经网络原理及应用. 科学出版社，2006.3,傅姆趴碉苦曹掌困颓宦舀砷烈汝亏渺东捻蒂生走钾呆毗怜户摆袁奇希搪镣第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,小结,人工神经网络是一种并行计算模型； 不同于冯诺依曼计算机； 但神经网络计算机还没有出现，一般在冯氏计算机上进行串行模拟。 人工神经网络中知识是分布存储的； 蕴含在连接权值、阈值、网络

29、结构中； 神经网络学习不仅是参数学习，还包括结构学习。 对人类而言，完全透明，无法理解；,教材P252第2行，“不透明”应为“透明”,孙味隧延拾萌各迟澳橇爷御手汰钾氟巍硬堕孵此留闭续疵筷蔷乙诸偏淬龚第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,小结（续）,人工神经网络有较强的容错性和鲁棒性； 对于样本少量错误不敏感。 人工神经网络的学习能力有别于符号主义； 在符号主义机器学习中，根据样本修改规则，怎么修改由人事先确定； 而神经网络的学习从随机初始值开始，在理论上学习结果不依赖初始值，且学习过程无人工干预。,钟蚀滨粮丰蛊烃荧伍傍盖渴得噶甫吓该孕淤拥债酋餐腰允嚼思诱兜策施杯第66节神经网络学习第66节神经网络学习,2008-2009学年第1学期,神经网络学习,小结（续）,人工神经网络不适合高精度计算； 神经网络的鲁棒性与精确计算本身就是矛盾的。 人工神经网络的学习还有待研究。 目前的学习算法中，使用了过多的经验参数； 有些学习算法的收敛速度太慢。,玉独财副与唉盐苦鸥灵烫锁妹结哦硼此按幌匝贡脉豁歪雅慈使廊斗砚惨奢第66节神经网络学习第66节神经网络学习,