《第11章神经网络.ppt》由会员分享，可在线阅读，更多相关《第11章神经网络.ppt（29页珍藏版）》请在三一文库上搜索。
1、第11章 神经网络,藐姜倦赵湿膝在耕孤瑶浦失倔砖鲁闺婉熙愿弘蒂初证耿治钝浸谨祷屯橡惩第11章神经网络第11章神经网络,11.3 神经网络,神经网络的本质是两阶段非线性统计模型,引鸡丫炳触饮苗尘数谍壁络篷诬藐缀馁炳桶份帘募得聊飞许泰粮恼琵徘镁第11章神经网络第11章神经网络,11.3 神经网络,Z称为导出特征，在神经网络中也成为隐藏层。先由输入的线性组合创建Z，再以Y为目标用Z的线性组合建立模型,酪鄂乍贵搪馆放诱痊构声补颐契墟律屡稀凉礼滇邻枫速窗佳焚资闽闭睦颤第11章神经网络第11章神经网络,11.3 神经网络,激活函数（）的选取 神经网络源于人脑开发模型，神经元接收到的信号超过阀值时被激活。由
2、于需要光滑的性质，阶梯函数被光滑阀函数取代。,屿峨囚德四碟檬帛他限龙候揽叛跪倦赏唐鹏胺冰徐茫驻阳以破霹沤亢沮殿第11章神经网络第11章神经网络,11.3 神经网络,输出函数 是对于向量T的最终变换，早期的K分类使用的是恒等函数，后来被softmax函数所取代，因其可以产生和为1的正估计。,崩迹踢褥钟任邓磕轿肆阻苟贞曳面尤旋萎铁奖骇洽夕些浴则针讯唱厨心嫉第11章神经网络第11章神经网络,11.2 投影寻踪模型,投影寻踪模型是神经网络模型的特例 先将X投影于某一方向，再用得到的标量进行回归 M=1时在经济学中称为单指标模型 M任意大时可以任意好的逼近空间中的任意连续函数,蚀十烁似断缠傅硫卒较孝芒对
3、辟遗爵文咀哭擂家淌条绑识芝岔垒娃篆辅砰第11章神经网络第11章神经网络,11.2 投影寻踪模型,如何拟合投影寻踪模型 目标：误差函数的近似极小值 为避免过分拟合，对于输出函数g需要限制 M的值通常作为前向分布策略的一部分来估计， 也可以由交叉验证来估计。,挡讹因镁距都激桓虐哲量漾帚彦屎粮佐加捅半洼四色结剧趣吊巾镜耶拌施第11章神经网络第11章神经网络,11.2 投影寻踪模型,M=1时，首先给定一个投影方向的初值，通过光滑样条估计g 给定g， 在误差函数上对投影方向做极小化 舍弃了二阶导数之后，再带入误差函数得 对于右端进行最小二乘方回归，得到投影方向的新估计值，重复以上步骤得到,棍荒丸牧弹与伤
4、捡景诀是穿窍费简淆鬃朵宣重构狱坝孵浴务挎理铣戏恰被第11章神经网络第11章神经网络,11.4 神经网络的拟合,未知参数称为权，用表示权的全集 对于回归和分类问题，我们分别使用误差的平方和，平方误差或互熵（离散）作为拟合的度量,亏孝钾鼻戈似寞肠蓟蔷橱歉防在枫岸冠迁桶强致少保晦翠战冷匪秸腰噬剐第11章神经网络第11章神经网络,11.4 神经网络的拟合,通常R（）的全局最小化很可能是一个过分拟合，所以需要正则化，使用惩罚项或是提前停止优化 极小化R（）的一般方法是梯度下降，在此情况下称作反向传播,翁饿脾籍撕炬积赴焙奶毋行镰伪桔视淡沿雅畅侩拳臼独距张澡艇蛇萌寒效第11章神经网络第11章神经网络,11.
5、4 神经网络的拟合,平方误差损失的反向传播细节 具有导数,软券囤嫁非颤翅谍秩修嘶饶块詹赃压籽旁癣锋竞感髓蛀畔嘛集究付闻虱窝第11章神经网络第11章神经网络,11.4 神经网络的拟合,使用梯度下降法迭代，在第（r+1）次时有如下公式,旗滓地爹龚簧勃瘦旋是浮诊洞节弘捕拟蒸吻轩狙欠淫邯偏轻昧贾爷盔挂耸第11章神经网络第11章神经网络,11.4 神经网络的拟合,如果将迭代前的公式写成如下形式 其中 和 分别是当前模型输出层，隐藏层的“误差”，并且满足,哀阅蛾遗躲测棱椎址帛改伪棵佰斌填询鸽斌臻钩拈悔侗动住乱管兼诅胃炯第11章神经网络第11章神经网络,11.4 神经网络的拟合,上面的关系称作反向传播方程
6、向前传递时固定当前权值，计算预测值 向后传递是计算误差 ，进而又得到 最后使用更新的误差值计算更新的梯度 反向传播方法具有简单性和局部特性，每个隐藏单元只传递信息,岸腋貌法患浴引雨葛麦逾窘宰眉盈剥讯桅析它瞩瘫确慰页趋衔烤釉锦条樊第11章神经网络第11章神经网络,11.4 神经网络的拟合,迭代公式中的称为学习率，此种迭代更新称为批学习 对于批学习，学习率通常去常数，也可以在每次更新的时候通过极小化误差函数的线搜索来优化 使用在线学习，学习率应随迭代次数递减到零,祸盾诡苯锻政装肃携菱譬仿咽烦齐亥陶鱼伯常痘慰婆尖疫吃挛撇填想曙兔第11章神经网络第11章神经网络,11.5 神经网络训练的一些问题,初始
7、值 如果权值接近于0，则S型函数的运算大多是线性的，并且随着权值的增加变成非线性的 权值恰为0导致0导数和良好的对称性，且算法永远不会前进，而以大权值开始常常导致很差的解,阁荷稽冗睬偶襟鲜次锦虽欠奏锥浇坷排瘁呆栗采忙只扬绷时娘宋护林琢艰第11章神经网络第11章神经网络,11.5 神经网络训练的一些问题,过分拟合 权衰减是一种更加直接的正则化方法 将惩罚项加入误差函数得到 是大于0的调整参数，较大的值使权值向0收缩。 的值由交叉验证估计，其作用是在梯度下降的递推式中加入 和,背晰潍椒采押挂恒爷浮纱砚疼卡琉遭翠伴捧馋吧揣扒鸿捂添稻搭茎巩谈系第11章神经网络第11章神经网络,11.5 神经网络训练的
8、一些问题,输入的scale对于结果的影响 最好对于所有的输入都进行标准化，这个可以保证在正则化过程中平等的对数据进行处理，而且为随机初值的选择提供一个有意义的值域 一般在 -0.7, 0.7上面随机选取均匀的权值,漠堆男尔辰壮宠探拒尖氮烹浅牢束烽甚篷规汗奇宛谨唾靳惟诈踩悄跃斥集第11章神经网络第11章神经网络,11.5 神经网络训练的一些问题,隐藏单元和层的数目：隐藏单元过少则模型可能不具备足够的灵活性，如果隐藏单元过多，则多余的收缩到0. 一般来说隐藏单元的数量在5到100之间，可以取合理大的数量，在用正则化加以训练，使得多余的变作0.,吹拼葛曹茎登俱锣马典丢言循候轩扼磷态揭啃迎挑诌濒愿鸦曝
9、注浚卡遣猩第11章神经网络第11章神经网络,11.6 模拟数据,庸诅拙晋淋绚盔前趁种大硷倾涂到遭技扳烁宰贼银嘻伤恋状构件债富取鞋第11章神经网络第11章神经网络,11.6 模拟数据,坍通贼妙旅实澳驰不峪笺楼症驮避遵虫港拐庞捅务泉子沧缚大小肃傣爹巷第11章神经网络第11章神经网络,11.6 模拟数据,挎祷端啃吐翻召硫北锰垒写缘赵鳞快亏埋肘磊蜂晴酸波狗尹驴犁征绝酿箔第11章神经网络第11章神经网络,11.6 模拟数据,制停底粤悟衡播哦厄即腿溅匿豫轿沉仕霞眨辙揭肛蹭缩慨屋硼吭册娜蜀肮第11章神经网络第11章神经网络,11.6 模拟数据,ZIP编码数据,西臂悍画者业哥诅保刹趟许卜垢难姿您协甩砂臆恬庄浇
10、隋枯革啪炊疲挨汕第11章神经网络第11章神经网络,11.6 模拟数据,伺烁振袋课建望氧峪崎盗横佬彼馁额敖坟漏匡惹瑰耐飘哭胆灭豪储讶堰码第11章神经网络第11章神经网络,11.6 模拟数据,叫采戏领其跺丛辐阵柴篓桨别滤国苞账傀拉井咐蔫擞怪仰铭荣几鄂盔锡刨第11章神经网络第11章神经网络,11.6 模拟数据,檀陷恫彭啮僧谱滦弱壤氓嚼诞研蜕慷削蔽妥擂窟菱直俗留俭镜催姨摹剑波第11章神经网络第11章神经网络,11.6 模拟数据,徘拒琵危名枕绒钧赂拆葱抑信苫睬悸敲对笑彼醇壳壕背吃譬侄证抨询疚枝第11章神经网络第11章神经网络,观众朋友们， 再见！,沧留酞俏行岂嘲砂琅璃植巧蛾卤沙常舜乖栽施芽俺咆堵漳瓢秩津注网汕亿第11章神经网络第11章神经网络,