《第五章BP网络new.ppt》由会员分享，可在线阅读，更多相关《第五章BP网络new.ppt（34页珍藏版）》请在三一文库上搜索。
1、2019/4/12,1,回 顾,梯度法比原来感知器的学习算法进了一大步。其关键在于两点： 1神经元的传递函数采用连续的线性函数，而不是阶跃函数； 2对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。故而有更好的动态特能，即加强了收敛进程。,2019/4/12,2,考虑两个一维Gauss分布类A和B，其方差都是1，A的均值是-10，B的均值是10。用单层感知器设计一个分类器来分离这两个线性可分的类。,2019/4/12,3,第5章 BP网络,主要内容： BP网络的构成 隐藏层权的调整分析 Delta规则理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 重点：BP算法 难点：
2、Delta规则的理论推导,2019/4/12,4,第5章 BP网络,5.1 概述 5.2 算法的理论基础 5.3 基础基本BP算法 5.5 算法的改进算法的实现 5.5 算法的实现 5.6 几个问题的讨论,2019/4/12,5,5.1 概述,BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP网路需有教师训练。,2019/4/12,6,网络的拓扑结构,2019/4/12,7,网络的拓扑结构,BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个
3、数的决定 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。,2019/4/12,8,神经元的网络输入： neti=x1w1i+x2w2i+xnwni 神经元的输出：,2019/4/12,9,双极性Sigmoid函数：,单极性Sigmoid函数：,2019/4/12,10,输出函数分析,应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的,2019/4/12,11,5.2 算法的理论基础,2019/4/12,12,输入向量： X=(x1,x2,xi,xn)T 隐层输出向量： Y=(y1,y2,y
4、j,ym)T 输出层输出向量： O=(o1,o2,ok,ol)T 期望输出向量：d=(d1, d2,dk,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),2019/4/12,13,对于输出层：,k=1,2,l,k=1,2,l,对于隐层：,j=1,2,m,j=1,2,m,2019/4/12,14,样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，dp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(F2
5、(F1(XpW(1)W(2)W(L),2019/4/12,15,2、向后传播阶段误差传播阶段： （1）计算实际输出Op与相应的理想输出dp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度：,（4） 网络关于整个样本集的误差测度：,2019/4/12,16,网络误差定义与权值调整思路,输出误差E定义：,将以上误差定义式展开至隐层：,2019/4/12,17,进一步展开至输入层：,向前传播阶段,2019/4/12,18,BP学习算法,j=1,1,2,m+1; k=1,2,l,i=1,2,n+1; j=1,2,m,式中负号表示梯度下降，常数(0,1)表示比例系数。,在
6、全部推导过程中，对输出层有j=1,1,2,m+1; k=1,2,l 对隐层有 i=1,1,2,n+1; j=1,2,m,2019/4/12,19,最速下降法，要求E的极小点,取,2019/4/12,20,BP算法推导,对于输出层,对隐层,yj,对输出层和隐层各定义一个误差信号，令,2019/4/12,21,综合输出层权值调整式改写为,综合隐层权值调整式改写为,可以看出，只要计算出式中的误差信号o和y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号o和y 。,2019/4/12,22,对于输出层， o可展开为,对于隐层， y可展开为,ok=f(netk),2019/4/12,23,对于
7、输出层，利用式：,可得：,2019/4/12,24,对于隐层，利用式：,2019/4/12,25,ANj为隐藏层神经元,netk=,netk是 yj下一级的神经元的网络输入,2019/4/12,26,ANj为隐藏层神经元,2019/4/12,27,将以上结果代入式,得到：,至此两个误差信号的推导已完成。,并应用式,同理,2019/4/12,28,三层前馈网的BP学习算法权值调整计算公式为：,2019/4/12,29,5.3 基本BP算法,样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将
8、Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(F2(F1(XpW(1)W(2)W(L),2019/4/12,30,训练过程概述,2、向后传播阶段误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度：,（4） 网络关于整个样本集的误差测度：,2019/4/12,31,误差传播分析,1、输出层权的调整,wpq= wpq+wpq wpq=qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op,2019/4/12,32,2、隐藏层权的调整,2019/4/12,33,2、隐藏层权的调整,pk-1的值和1k，2k，mk 有关 不妨认为pk-1 通过权wp1对1k做出贡献， 通过权wp2对2k做出贡献， 通过权wpm对mk做出贡献。 pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k),2019/4/12,34,2、隐藏层权的调整,vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ wpmmk)ohk-2 =opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-2,