《神经网络的控制设计模板.docx》由会员分享，可在线阅读，更多相关《神经网络的控制设计模板.docx（7页珍藏版）》请在三一文库上搜索。
1、资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。x=0:0.01:3y=3*sin(x)+0.1*rand(1,length(x)针对前述函数 , 建立一个单输入单输出的 3 层 BP 网络 , 并撰写报告 , 激励函数等可自行选择 : 要求 :神经网络输出与函数输出的误差应小于某小值;由于所给函数x 取值范围是 0 3, 而题目要求输入输出样本集取值范围应该覆盖0 度到 360 度。因此 x 在3 2*pi 内 , 应观察已训练好的神经网络是否满足目标函数, 以此检验训练完的网络。x建立网络与参数设置一、 先分析几个常见的激励函数(1)logsig 对数 S 型(sigmoid
2、) 传递函数 , 它能够将神经元的输入范围是 (- , + )映射到 (0,1)的区间上 , 它是可微函数 , 其表示式为 :y=1/1+e-x 。(2)tansig 双曲正切 S 型(sigmoid) 传递函数 , 它能够将神经元的输入范围 (-, + )映射到 (-1,+1) 的区间上 , 它是可微函数。对 logsig 传递函数而言 , 输出范围是 (0,1), 对 tansig 传递函数而言 , 输出范围是 (-1,1)。如果是 purelin 型神经元 , 则整个网络的输出能够是任意值。对三层 BP 网络而言 , 如果最后一层是sigmoid 型神经元 , 那么整个网络的输出就限制在
3、一个较小的范围内。我们选择purelin 函数作为输出层神经元的激励函数, tansig 函数作为隐层神经元的激励函数。资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。二、 学习算法BP 算法的主要缺点是: 收敛速度慢 , 局部极值、难以确定隐层结点个数。改进主要有两种途径: 一种是采用启发式学习算法,另一种是采用更有效的优化算法。启发式算法主要体现在函数梯度上 , 包括有动量的梯度下降法、 自适应 lc 的梯度下降法、 有动量和自适应 lc 的梯度下降法和能复位的 BP 训练法。基于数值优化的训练方法有三种: 共轭梯度法、 高斯牛顿法和Levevberg-Marquardt 法
4、。由于 trainlm 具有收敛快 ,误差小的优点 , 且本实验中数据量不算大 , 故我们这里采 trainlm 学习算法。 ,误差小的优点 , 且本实验中数据量不算大 , 故我们这里用 trainlm 学习算法。各个算法特点见表1表 1学习算法适用问题类型收敛性能占用存储空间trainlm函数拟合收敛快大误差小trainrp模式分类收敛最快较小trainscg函数拟合收敛较快中等模式分类性能稳定trainbfg函数拟合收敛较快较大其它特点性 能随网络规模增大而变差性 能随网络训练 误差减小而变差特 别适用于网络 规模较大的情况计 算量随网络规 模的增大呈几何增长资料内容仅供您学习参考，如有不
5、当或者侵权，请联系改正或者删除。适 用于提前停traingdx模式分类收敛较慢较小止的方法三、 节点数隐层节点数的确定是神经网络设计中非常重要的一个环节,一个具有无限隐层节点的两层BP 网络能够实现任意从输入到输出的非线性映射。 一般认为 , 隐层节点数与求解问题的要求、输入输出单元数多少都有直接的关系。而且, 隐层节点数过少, 则无法产生足够的连接权组合数来满足若干样本的学习; 隐层节点数过多,则学习以后网络的泛化能力变差。确定隐层的节点数有如下几种方法: (1)如果要求逼近的样函数变化剧烈、波动很大 , 则要求可调整地连接权数多, 从而隐层的节点数也应该多一些; (2) 如果规定的逼近精度
6、高, 则隐含层单元数也应该多一些 ; (3)可考虑开始时放入较少的隐含层单元, 根据以后的学习情况逐渐增加;总之 , 若隐层节点数太少, 网络可能根本不能训练或网络性能很差 ; 若隐层节点数太多, 虽然可使网络的系统误差减小, 但一方面使网络训练时间延长, 另一方面 , 训练容易陷入局部极小点而得不到最优点 , 也是训练时出现”过拟合”的内在原因。因此, 合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。隐层的节点数与求解问题的要求,输入输出单元数多少有关。对于模式识别/ 分类的节点数可按下列公式设计资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删
7、除。其中 n 为输入节点数目; m 为输出节点数目; a 为 1-10 之间的常数。这里 n 为 1, m 为 1, N 应为 3-12。不妨设为10。四、 它参数设置( 1) 步长 : 步长 , 即学习速率 , 它决定每一次循环训练中所产生的权值变化量。步长太小 , 收敛就非常慢。步长太大 , 可能会导致网络的瘫痪和不稳定。这里我们令lr 为 0.01。( 2) 结束参数 : 设置最大重复次数epochs为 10000 次, 精度 goal 达到 0.0001。精度过高时收敛过快。五、 实验过程及结果学习前 ( 选择初始权值时 ) 神经网络的输出曲线与实际函数的曲线对比图图 1 学习前输出曲
8、资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。学习后 ( 选择初始权值时) 神经网络的输出曲线与实际函数的曲线对比图图 2 学习后输出曲线资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。图 3 误差的变化曲线图六、 各个参数对网络的影响1、 神经元数目N 不同资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。图 4 N=5 时网络输出图 5 N=50 时网络输出增加隐层节点数对改进逼近效果的作用并不很明显。可是增加隐层节点会增加精度、增加训练时间 , 在本题中N 为 10 时, 用时36s; N 为 50 时, 所用时间为266s; N 为 5 时 , 所用时间为21s2.步长不同图 6、 图 7、 图 8 分别为 lr 为 0.001、 0.01、 0.1 的误差曲线图。