《【2019年整理】机器学习神经网络的论文.pdf》由会员分享，可在线阅读，更多相关《【2019年整理】机器学习神经网络的论文.pdf（13页珍藏版）》请在三一文库上搜索。
1、机器学习网络系统论文 班级：10 级自动化（ 1 班） 姓名：才让加 学号： 1020301025 摘要： 神经网络是计算机智能和机器学习研究、开发和应用最活跃的分支之一。本 文首先通过对误差回传神经网络(BPNN)和径向基函数神经网络(RBFNN)的知识 进行学习，并且对各自的原理进行了简单的分析，最后在各自的功能上进行了 比较。 人工神经网络 （Artificial Neural Networks ）是参照生物神经网络发展起来的 模拟人脑生物过程的人工智能技术。它是由大量的神经元互连形成的一种非线 性系统。因此，神经网络根据神经元互连模式可分为前向网络（前馈网络）和 反馈网络。经过十几年的
2、发展，神经网络理论在模式识别、人工智能、控制与 优化、空间科学、通讯等应用领域取得了令人瞩目的成就。 BP 网络和 RBFNN 网络的分析与比较 1 BP 网络原理 BP神经网络也称为误差后向传播神经网络，它是一种无反馈的前向网络， 是神经网络模型中使用最广泛的一类。BP神经网络是典型的多层结构，分为输 入层、隐层和输出层，层与层之间多采用全互联方式，同一层单元之间不存在 相互连接接。 1.1 Sigmoid阈值单元 图 1 Sigmoid单元先计算它的输入的线性组合，然后应用到一个阈值上， 阈值 输出是输入的连续函数 ()ow x X1X0 X 2 Xn W1 W2 Wn W0 0 n ii
3、 i netw x ()onet 其中 1.2 反向传播算法 BP网络可以有多层，我们采用梯度下降方法试图最小化网络输出值和目 标值之间的误差平方，首先定义网络输出的总误差： 其中：outputs是网络输出单元的集合，tkd和okd是与训练样例 d和第k个输出单 元相关的输出值。 1.2.1 随机梯度下降法 两层sigmoid单元的前馈网络的反向传播算法如下： BackPropagation(training_examples, , nin, nout, nhidden) training_examples是序偶 的集合，x是网络输入值向量，t是 目标输出值。是学习速率，nin是网络输入的数量
4、，nhidden是隐藏层单元数，nout 是输出单元数， 从单元 i到单元 j的输入表示为xji，单元i到单元j的权值表示为 wji。 ?创建具有nin个输入，nhidden个隐藏，nout个输出单元的网络 ?初始化所有的网络权值为小的随机值 ?在遇到终止条件前 y e y 1 1 )( Ddoutpusk kdkd otwE 2 )( 2 1 )( 对于训练样例 training_examples 中的每个 : 把输入沿网络前向传播 ?把实例x输入网络，并计算网络中每个单元 u 的输出 ou , 使误差沿网络反向传播 ?对于网络每个输出单元k,计算它的误差项 k k ok(1-ok)(tk-
5、ok) ?对于网络每个隐藏单元h，计算它的误差项 h h oh(1-oh) khk koutputs w ?更新每个网络权值 wji wjiwji+ wji， 其中wji= jxji 1.2.2 算法推导 随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d， 利用关于这个样例的误差Ed的梯度修改权值。 符号说明如下： ?xji，单元 j的第i个输入 ji d ji w E w outputsk kkd otwE 2 )( 2 1 )( ?wji，与xji 相关联的权值 ?netj，单元j的输入的加权和 ?oj，单元 j计算出的输出 ?tj，单元 j的目标输出 ?，sigmoid
6、函数 ?outputs，网络最后一层的输出单元的集合 ?Downstream(j)，单元 j的输出到达的单元的集合 分情况讨论的推导 Case1: 输出单元 ji j d ji j j d ji d x net E w net net E w E j d net E j j j d j d net o o E net E j d o E )( )( )(2 2 1 )( 2 1 )( 2 1 2 2 jj j jj jj jj j outputsk kk j ot o ot ot ot o ot o )1 ( )( jj j j j j oo net net net o )1 ()( jjjj
7、 j d ooot net E jijjjj ji d ji xooot w E w)1 ()( Case2: 隐藏单元 )( )( )( )( )( )( )1( )1( jDownstreamk kjkjj jDownstreamk jjkjk jDownstreamk j j kjk jDownstreamk j j j k k jDownstreamk j k k jDownstreamk j k k d woo oow net o w net o o net net net net net net E j d net E )( )1( jDownstreamk kjkjjjiji w
8、ooxw 1.2.3 收敛性和局部极小值 对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可 能陷入这些局部极小值中的任何一个 对于多层网络，反向传播算法仅能保证收敛到误差E的某个局部极小值， 不一定收敛到全局最小误差 尽管缺乏对收敛到全局最小误差的保证，反向传播算法在实践中仍是非 常有效的函数逼近算法 2 径向基函数神经网络(RBFNN) 径向基函数（ radialbasisfunction，RBF ）方法是在高维空间进行插值的 一种技术。 Broommhead 和 Lowe在1998率先使用该技术，提出了神经网络学习的 一种新手段。那就是 RBFNN ，是以径向基函数作为隐单元
9、的基构成隐含层空 间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使 得在低维线性不可分问题变成在高维空间内线性可分。它是一种局部逼近网络， 对于每个训练样本，它只需对少量的权值和阀值进行修正具有学习速度快，收 敛性好，实时性强。 2.1 RBF神经元模型 图2 RBF神经元模型 2.2 RBF 神经网络的结构 径向基函数神经网络的构成包括三层：第一层为输入层， 第二层为隐含层， 第三层为输出层。其网络拓扑结构如3图所示。 RBF 网络从输入空间到隐含空间 的变换是非线性的，而从隐含层空间到输出层空间的变换则是线性的。这种网 络结构，隐含层的单元是感知单元，每个感受知单元的输
10、出为：Ri=r( X-Ci) (1-1) ，其中，X为 n 维输入向量； Ci为第i 个隐节点的中心， i=1,2, ，h。 通常为欧氏范数； r( )为 RBF函数。基函数的形式，可以有以下几种形式的选 择：多二次函数、逆多二次函数、样条函数、高斯函数。通常使用的是高斯函 数，则由式(1-1) 可得式 (1-2) ：Ri(x)=exp -( X-Ci)/( 2 2) ,i=1,2 ， m (1-2) ，其中， i为基宽度； m 为感知单元的个数。由图 3 可以看出，网络输出 层k个节点的输出为隐节点输出的线性组合：yk= 1 () m iki i WRx , k=1,2,， p (1-3)，
11、其中， p为输出节点数； Ri(x) 为高斯函数；wik为 Ri(x) yk的 连接权值。 图3 RBF网络结构 2.3 基于聚类的RBF 网络设计算法 基于聚类的 RBF 网络算法是一种无导师学习，也称为非监督学习，是 对所有输入样本进行聚类，从而求得各隐层节点的RBF 的中心。聚类算法 主要有 HCM 、K-均值聚类、最近邻聚类（NN 算法）等。目前最常用的是 K- 均值聚类算法，具体的步骤如下： （1）初始化：给定各隐层节点的初始中心 Ci(0) 。 （2）相似匹配：计算距离（欧氏空间）并求出最小距离的节点： Di(t)= x(t)-ci(t-1) 1 i h (2-1) Dmin(t)=minDi(t)=Dr(t) (2-2) （3）调整中心（ 为学习速率， 01）： ci(t)=ci(t-1) 1i h，i r (2-3) cr=cr(t-1)+ (x(t)-cr(t-1) i=r (2-4）