《神经网络配套Ch课件.ppt》由会员分享，可在线阅读，更多相关《神经网络配套Ch课件.ppt（28页珍藏版）》请在三一文库上搜索。
1、1,感知机学习规则,2,学习的分类, 有监督学习（有导师学习） 提供网络一组能代表网络行为的实例集合 (训练集)：, 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输 入序列上的性能测度。, 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类 （聚类）。,(输入,目标输出)。,3,感知机的结构,4,单个神经元感知机工作原理,判定边界：n=w1,1p1 +w1,2p2 +b =0,5,单个神经元感知机工作原理,p1 + p2 1 = 0,6,判定边界,所有在判定边界上的点与权向量的内积相同。 这些点一定是在一条与权向量垂直的线上。,7,例子 “或(OR)”,8,
2、“或”的解答（图解法）,选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。,在判定边界上取一点(0, 0.5)来定偏值：,选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择：,9,“或”的解答（图解法）,方程的法向量是权向量 (与判定边界垂直)：,方程的常数项是判定边界的偏置值：,两点式直线方程： 例如点(x1 , y1)和(x2, y2)：,选一个判定边界及其上的两点得其方程： 例如点(0.5, 0)和(0, 0.5),10,多神经元感知机,每个神经元将有自己的判定边界
3、：,单个神经元可以将输入向量分为两类。 一个有S个神经元的感知机可将输入向 量分为多类，共有2S种可能的类别。,11,感知机学习规则, 为满足给定的训练样本：, 设计一般性的方法来确定感知机的权和偏置值。,12,学习规则测试实例,测试问题的网络,13,初始化,将p1送入网络：,随机初始化权：,错误分类,14,构造学习规则, 令1w 为 p1 前后振荡 将p1加到1w上 1w的指向偏向p1,规则：,15,第二个输入向量,(错误分类，见前图),修正规则：,16,第三个输入向量,三个模式现在都正确分类了,(错误分类，见前图),17,统一的学习规则,偏置可视 为对应输 入为1 的权,18,多神经元感知
4、机,权值矩阵的第i行修改为：,矩阵表示：,19,苹果/香蕉例子,训练集：,初始权值：,第一次迭代：,20,第二次迭代,21,检查,22,学习规则的能力, 只要权值的解存在（问题线性可分）， 该学习规则总能收敛到实现期望分类的 权值上。,23,收敛性证明, 证明见书中第45页 证明是建立在下面三条假设基础上的： 问题的解 存在，即有式(4.66)： ； 仅在输入被错分时才改变权值，即有式(4.72)： ； (3) 输入向量的长度(模)的上界存在。 证明的思路： 若问题的解存在，则感知机学习规则必迭代有限次 就可收敛。,24,收敛性证明, (4.66)和(4.72)式的证明： -(4.66)式的证
5、明,即 。 证：由(4.61)有, , ,且 。 若 ,则 ,由(4.62)得: ; 若 ,则 ,由(4.63)得: ; 综合和证得(4.66)式。 -(4.72)式的证明,即 。 证：由(4.61)有, , ,且 。 若 ,由于错误分类,得: ; 若 ,由于错误分类,得: ; 综合和证得(4.72)式.,25,感知机的局限性,线性判定边界,解决不了线性不可分问题,26,习题,考虑下面定义的分类问题：,设计一个求解这个问题的单神经元感知机。 (1)用图形方式求解网络参数； (2)对下列初始参数用感知机学习规则求解网络参数。,27,课外习题,按照感知机学习规则, 用C语言编程实现下列学习函数:,void learning( n, i , f, p,t, W, b ) n: 神经元的个数; i: 输入维数; f : 传输函数类型; p,t: 训练集; W: 权值; b: 偏置值; ,28,课外思考题,以下面“异或(XOR)”逻辑运算为例，考虑能否用多个感知机神经元构成的网络来解决它的分类问题，网络的学习如何进行？,