《线性判别函数人工神经元网络模型.ppt》由会员分享，可在线阅读，更多相关《线性判别函数人工神经元网络模型.ppt（43页珍藏版）》请在三一文库上搜索。
1、人工神经网络 Artificial Neural Networks,10.1 人工神经网络概述,1概念 （1）人工神经网络 是集脑科学、神经心理学和 信息科学等多学科的交叉研究领域，是近年来 高科技领域的一个研究热点。 （2）它的研究目标 是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。 （3）应用 它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。,10.1 人工神经网络概述,2 概念解释 （1）人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑
2、系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 （2）神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 (3)ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练,3主要组成 （1） 一组处理单元（PE或AN）； （2） 处理单元的激活状态（ai）； （3） 每个处理单元的输出函数（fi）； （4） 处理单元之间的联接模式； （5） 传递规则（wijoi）； （6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； （7） 通过经验修改联接强度的学
3、习规则； （8） 系统运行的环境（样本集合）。,10.1 人工神经网络概述,4 人工神经网络的特点 （1） 信息的分布表示 （2）运算的全局并行和局部操作 （3）处理的非线性,10.1 人工神经网络概述,10.2 神经元的结构与功能特性,生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元主要由三部分构成（1）细胞体（2）轴突（3）树突（4）突触 (如图10.1),10.2 神经元的结构与功能特性,2. 人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0
4、,1,n-1,处理单元的内部阈值为。,10.2 神经元的结构与功能特性,而处理单元的输出为,那么本处理单元（神经元）的输入为,10.3 BP神经网络模型与学习算法,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J. McClelland,David Rumelhart,1 BP神经网络模型,(1) 三层BP网络结构,1 BP神经网络模型,（2）激活函数 必须
5、处处可导 一般都使用S型函数 （3）使用S型激活函数时BP网络输入与输出关系 输入 输出,1 BP神经网络模型,（4）输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内,2 BP网络的标准学习算法,（1）学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 （2）学习的本质： 对各连接权值的动态调整 （3）学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,2 BP网络的标准学习算法-算法思想,（4）学习的类型：有导师学习 （5）核心思想： 将输出误
6、差以某种形式通过隐层向输入层逐层反传 （6）学习的过程： 信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,2 BP网络的标准学习算法-学习过程,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,2 BP网络的标准学习算法,(7)网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 (8)变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层
7、输入向量; 输出层输出向量; 期望输出向量;,2 BP网络的标准学习算法,输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数：,2 BP网络的标准学习算法,(10)标准学习算法的主要步骤 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出,2 BP网络的标准学习算法,第三步，计算各层各神经元的输入和输出,2 BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各
8、神经元的偏导数 。,2 BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。,2 BP网络的标准学习算法,2 BP网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,2 BP网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,2 BP网络的标准学习算法,第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,2 BP
9、网络的标准学习算法,（11）BP算法直观解释 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。,2 BP网络的标准学习算法,BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。,回忆,激发函数一般具有非线性特性,常用的非线性激发函数如图所示,(a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切、 常用的激发函数,3 BP神经网络学习算法的MATLAB实现,（1）M
10、ATLAB中BP神经网络的重要函数和基本功能,3 BP神经网络学习算法的MATLAB实现,（2）MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 说明 net为创建的新BP神经网络；,PR为网络输入取向量取值范围的矩阵； S1 S2SNl表示网络隐含层和输出层神经元的个数； TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig； BTF表示网络的训练函数，默认为trainlm； BLF表示网络的权值学习函数，默认为learng
11、dm； PF表示性能数，默认为mse。,newff() newff: Create a feed-forward backpropagation network Syntax net=newff net=newff( PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) Description net = newff creates a new network with a dialog box. newff(PR,S1 S2.SNl,TF1 TF2.TFNl, BTF,BLF,PF) takes,(1)PR-R x 2 matrix of min and max val
12、ues for R input elements (2)Si-Size of ith layer, for Nl layers (3)TFi-Transfer function of ith layer, default = tansig (4)BTF-Backpropagation network training function, default = traingdx (5)BLF-Backpropagation weight/bias learning function, default = learngdm (6)PF-Performance function, default =
13、mse,3 BP神经网络学习算法的MATLAB实现,（3）MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,3 BP神经网络学习算法的MATLAB实现,（4）例2-3，下表为某药品的销售情况，现
14、构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,数据标准化： X=(x-min)/(max-min),3 BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入 P=0.51520.81731.0000
15、; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000; %以第四个月的销售量归一化处理后作为目标向量 T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法 net=newff(0 1;0
16、1;0 1,5,1,tansig,logsig,traingd); net.trainParam.epochs=15000; net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T);,3 BP神经网络学习算法的MATLAB实现,BP网络应用于药品预测对比图 由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度也进一步缩小,4 BP神经网络的特点,（1）非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网
17、络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 （2）泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 （3）容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,5 BP神经网络的优缺点,B-P算法的优缺点： 优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。 缺点： （1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。,小结,BP算法背景 BP神经网络模型 BP算法 基本思想 推导过程 实现 BP神经网络的MATLAB函数 BP神经网络的应用实例 BP神经网络与感知器神经网络的对比,谢谢！,