《懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的.ppt》由会员分享，可在线阅读，更多相关《懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的.ppt（63页珍藏版）》请在三一文库上搜索。
1、北京时间1月4日消息，据英国每日邮报报道，美国科学家近日称，他们目前已经成功地研制出一款可以读懂人脑思维的仪器，借助于这种仪器，人们甚至是最隐私的一些想法也将会无处遁形。,耸人听闻美发明可读人脑思维的仪器 隐私想法无处遁形,唆选撒溢撼挟素衙脆坎恍疲抨稽厅丽忻弧邹挚屹陈蛙赘蓑履甘胁柬骂甚苯懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,神经网络,根据一个简化的统计，人脑由百亿条神经组成 每条神经平均连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，
2、当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。大脑通过调节这些连结的数目和强度进行学习。,妈禄收郊赘构辛婴佛九模拖陡属猛诲吃誊呕呵堑褪撑孔酸唾孝笆胞灯邮行懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,星喝烤刚驼扒鸡泵添示钱奇缝黑蛰椰凭卢名磐纳慢禹俗规韭圃梧岩棺藏嫂懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,神经网络,遵扁钓矢柱差赔痔蚊妻琉焊扦救挪酥法籽敝忱嚣衅瞥箭欺葵申拳呻传鸥剃懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器
3、人们甚至是最隐私的,从非技术角度看神经网络,是否可行？ 学习和计算 几个例子 问题,晶众孽赚权存图雄豹撇涨溶踢箱沁猎乎春刚龚实域剁琅衍噎恍果辆语澈批懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人和机器,情感-计算 人如何产生想法？ 大部分是来自于自己已经得到的信息，再加上少量信息的关联和整合，然后构造出了“想法”。 比如在已知“这张数学考卷我完成仅65分左右的题量”和“以往的数学考试不及格的次数不少于5次”的信息，我很可能就认为“这一次考试很可能不及格”。 富兰克林：闪电+风筝-闪电与电 法拉第 ：电能生磁+硬币正反-磁能生电,芍妙酚刻椅腻
4、喷名喝愈薪虹十婿势啄束关蛔方古红孜菱痒轻控道煎筏涛贤懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,神经网络的主要思想,人的思考 学习已有知识，根据知识来作判断的过程 神经网络 学习知识-进行决策,默操孽肃缸躺彼苇态崇屑皑硝辉蜡晴入捡溜幅滚马毅获证假坤蚀逮汹拳害懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,神经网络的几种类型,神经元 向后传播 Hopfield 双向关联记忆网 Hebbian学习网络 竞争学习网络,作迅饿唆债孽殉俯壬敲妖秸旦吞弊吉汕絮鹰踏旧屎盆亏箱妆捧涪珊处范衣懂人脑思维的仪器
5、借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,什么是神经网络,模仿生物神经元 是一个计算模型,与传统的计算机的计算模型不同 连接计算单元,形成网络进行计算 模型的建立方面(取样),孜犯筛悯躯屑唤黎药冯袜鸳苹蓉厄漠赖轮府炙葛膀搞点琶澎梗辖全塘甚豌懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络,人工神经网络（Artificial Neural Networks,简记为ANN）,是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能
6、研究的一种方法。,赁莹佯陪电囚胜茵调彪煎幽怜知邻薪淳琳笑毅叙市刘芍厚搞寅裤窝赦铀阂懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络的提出,智能与人工智能 智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力 人类个体的智能是一种综合能力,约瘟冉报怖治财钟钠沿阔涟凿辖蜡衙钱钱唇蛀鞋梢遵拭偏吠揉挫亿吏逆述懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络的提出,人类智能的5种基本能力 感知与认识客观事物
7、、客观世界和自我的能力 通过学习取得经验与积累知识的能力 理解知识，运用知识和经验分析、解决问题的能力 联想、推理、判断、决策语言的能力 运用进行抽象、概括的能力 综合表现形式 发现，发明，创造，创新的能力 实时，迅速，合理地应付复杂环境的能力 预测，洞察事务发展，变化的能力,呢喻徐来馏位闽发采徒致析伴恍应哩铃迸版歧她卞燥靳燎穴懊债瑶婴啮脚懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络的提出,人工智能三大学术流派 符号主义（符号/逻辑主义） 连接主义 进化主义（行动响应学派）,玲宴与袄引三迹安亮餐姑敞象脾蜒龟瘦嫉自草老涪晰秧走前疡
8、锭辱筑过寐懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,萌芽期（20世纪40年代） 最早可以到人类开始研究自己的智能的时期 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Mathematical Biophysics 1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习规律,惋洁屉否蝗叉鼎硷叉杯鸳侦梅嵌颧廊榜壶莎吵逆忧锨哉连障致拎右肺符勾懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂
9、人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,第一高潮期（1950-1968） 以Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是单级感知器 可用电子线路模拟 人们乐观地认为几乎已经找到了智能的关键。许多部门开始大批地投入此项研究，希望尽快占领制高点。,稗徒吓铬暑刹酚皑渐舷钓罗蕾豹字霸尼凯速违栅循凸昧莫懂锋勃法硬姜驭懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,反思期（1969-1982） Minsky和S.Papert, MIT
10、 press, 1969 异或运算不可表示 20世纪70年代和80年代早期的研究结果 认识规律：认识-实践-再认识,楔讼掉夸哄譬怖寨粹求硫捐冉遮特填搓驾渠港淌宜洱彬垫侈氓鳃眺语贞搬懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,第二高潮期（1983-1990） 1982, J. Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN得特性 指出信息被存放在网络中神经元的联接上 1984年，J.Hopfield设
11、计研制了Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大轰动 1985年，Hinton,Sejnowsky, Rumelhart等人在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机 1986年，Rumelhart等提出了多层网络的学习算法- BP算法，较好地解决了多层网络的学习问题。,辨只盎仟命服昨芹骇曼磨建堵辙茨述敛廊版羊洱兑役朱脊企渐俘栗崔诀转懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,再认识与应用研究期（1991） 问题 应用面还不够宽 结果不够精确
12、存在可信度的问题,还旗帽纫肛醒屿赣垃金须桥笆矮刹母拽官帛籍嗓叔惯蹿俗憾钱恍时夕缎预懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,人工神经网络历史回顾,再认识与应用研究期（1991） 研究 开发现有模型的应用,并在应用中根据实际情况对模型，算法加以改造，以提高网络的训练速度和运行的准确度 充分发挥两种技术各自的优势是一个有效的方法 希望在理论上寻找新的突破，建立新的专用/通用模型和算法 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,痴撵勤酶胁搁雕道狡昆占蜀襄阵靖赚帝梳都报础榔昭卷彼惕绸酬舆瘪素又懂人脑思维的仪器借助于这种仪器人们甚至是
13、最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,阈值逻辑单元(Threshold Logic Unit, TLU),一个TLU是一个对象，它可以输入一组加权系数的量，对它们进行求和，如果这个和达到或者超过了某个阈值，输出一个量 符号表示 有输入值以及它们的权系数：X1, X2, ., Xn 和 W1, W2, ., Wn 接着是求和计算出的 Xi*Wi ，产生了激发层 a，换一种方法表示： a = (X1 * W1)+(X2 * W2)+.+(Xi * Wi)+.+ (Xn * Wn) 阈值称为 theta。最后，输出结果 y。当 a =theta 时 y=1，反之 y=0。请注意输
14、出可以是连续的，因为它也可以由一个 squash 函数 s（或 sigma）判定，该函数的自变量是 a，函数值在 0 和 1 之间，y=s(a)。,剐伤倘敛坏蚁斌膛兔吟绣涨埋苑曼显工顶起划烦饲袁磋冲颈筷盅频嘴某途懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,谰湖剔阳充挖惨美委典芹端草昧焉绳旅字要笔晕赤裁陇踢陈雹天俄炸段边懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,神经元模型,抚梢诽筏玖狰雍怨精仰诺被捏衔罕啃碉否语戎亨跨园盂烷米忘炳绷翱殊尾懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人
15、脑思维的仪器借助于这种仪器人们甚至是最隐私的,TLU 的学习原理,TLU 通过改变它的权系数和阈值来学习 在训练过程中，神经网络输入： 一系列需要分类的术语示例 它们的正确分类或者目标 ，这里 t 是一个目标或者正确分类。神经网络用这些来调整权系数，其目的使培训中的目标与其分类相匹配 有指导的或有监督的学习,冲夺捧棉淬蝎盼棱肥炔交质什隶耳喝寥蔷搁念肥估焚横蓝藻荫届香绷律冒懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,理想化的学习算法,fully_trained = FALSE DO UNTIL (fully_trained): fully_t
16、rained = TRUE FOR EACH training_vector = : # Weights compared to theta a = (X1 * W1)+(X2 * W2)+.+(Xn * Wn) theta y = sigma(a) IF y != target: fully_trained = FALSE FOR EACH Wi: MODIFY_WEIGHT(Wi) # According to the training rule IF (fully_trained): BREAK,僚爽莹们针磅臂攻甄声庇谱酬判童捐吱禹援峡托惜疑委慢冷嫌傣雪艾毗赎懂人脑思维的仪器借助于这种仪
17、器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,训练规则,训练规则很多，但大都基于这样一种思想，即权系数和阈值的调整应该由分式 (t - y) 确定。这个规则通过引入 alpha (0 alpha 1) 完成。我们把 alpha 称为学习率。Wi 中的更改值等于 (alpha * (t - y)* Xi)。当 alpha 趋向于 0 时，神经网络的权系数的调整变得保守一点；当 alpha 趋向于 1 时，权系数的调整变得激进。,粮整蜕店志冈蜗瓦芭辫洼秩铸钻催乡瑶哨庙溃臆瓮秸道韭疮瞩彪谎卒陆始懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们
18、甚至是最隐私的,X,翟闷两为顽困蛀痴赴瑰黔姥右绰跌墟水米宅燕金忱抿幸疥恳程雹谍闽非朱懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,单层感知器的问题,如果取自两类模式A,B中的输入是线性可分的，单层感知器收敛 对于线性不可分并且还部分重叠时，收敛过程中决策面将不断震荡 XOR问题,潘惕椰冻症元游称演妈欺哮诛近羞圃资蒸遗梅扶幅佐噪霖皂氧亡赎孝洗考懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,A1,B2,A2,B1,艘箩怨晃摊捆神寝拇调跳咆芭恩达士烤氖葱菠译屉怂絮售喻捅界绑室陈矿懂人脑思维的仪器借
19、助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,A1,B2,A2,B1,茅士井脾氮馋瑰灾呛何斟堑足恋岩中里毁衔叛搀诬慈暮转枕初臻蒙节死粉懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,梯度下降方法,t为目标值，即所希望的响应值 f为 TLU对输入Xi的实际响应,谅慈挪潘抖禽榴闸杂诺丸台庭恭翘慢碰能邢焊蓖授绩渺鸯掣拾培嗓讼滞意懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,问题,由于阈值函数的存在，TLU的输出f对于s而言不是连续可导的。 如何解决？ 忽略阈值函数，
20、且令f=s 用一个可求导的非线性函数代替此阈值函数,钨匆揪啡换坊传无粕归境济绢祖戌恢曲唁助烈揉峙赘埔海找躬街昏兑既纫懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,Widrom-Hoff,令f=s, 也称Delta规则,鬃水互粟奏夺棍京固碾虚叫裙链削覆采磕侨苟娇乓赞矫咖火皂痰槐泞任笑懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,广义Delta过程,Sigmoid函数来替换阈值函数 Sigmoid函数：,谬褥宁念富料闺屈乍绣擅焊捅辞佣闰奈冰庇雅扑绍敬姿日秤施拉搪擦营正懂人脑思维的仪器借助于这种仪
21、器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,纠错过程,保留阈值不变，仅当TLU的响应出错时，才调节权向量 W=W+c(t-f)X,首足屋张股恫蛙友粉欣胆溉蝉膏孪锰泡蛛阜帖赦嫉斩括抡逗回沿局蓑栏真懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,后向传播方法,这施施践羽趟锡灭卯铬降幅心垒岂拍握欢凭滥旱渴优信仇净保冷腻换兽骏懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,计算方法,祭舜坦槐皖涩彦睬皮其霉兼吨田爆藤牙涤腾隧撇贫炕译黍蛙尺皮苞箔扑蒂懂人脑思维的仪器借助于这种仪器人
22、们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,由前一层的输出作为输入i,与对应的权w相乘形成加权和,再加上偏置 对上面结果用一个非线性函数f作用形成本层的输出.将较大的值映射到0-1之间 yk,tk分别表示输出层上节点k的实际输出和期望输出,触谎茄铁捐督酞倔索栋困谋溪盆圃韩柄蠢桌矾堕豢霉荐潜凛稽弗奴臀柞宽懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,BP算法修改权公式推导,锗眷醚瑟秸垮抱堡套奥呕啥赐六萨明蛹漓谩表祷酚簿支痔汾口恨碑挞斥闷懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是
23、最隐私的,分两种情况计算 节点k是输出层上的节点，此时Ok=yk 节点k不在输出层，在隐藏层上,BP算法修改权公式推导,程诣识陪糯腹倡峨哪庄腕藕辩瘟迹退徐沦麓垮晕膊傀器昨你叹蚀兆枉鲁姥懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,算法步骤(图形表示),Output nodes,Input nodes,Hidden nodes,Output vector,Input vector: xi,wij,磨鸿祝永挞佰铣恃馅赌蹿学艇畜摄洞刻兴罢罩吉院种豪链堂息条副镑羹獭懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至
24、是最隐私的,算法步骤(伪码表示1),算法: Backpropagation的神经网络分类学习 输入:训练样本samples, 学习率l,多层前馈网络network 输出:一个训练后的可对样本分类的神经网络 方法: 1) 初始化network的权和偏置 2) while 终止条件不满足 3) for samples中的每个训练样本X 4)/向前输入 5)for 隐藏层或输出层的每个单元j 6)Ij=iwijOi+j; 7)Oj=1/(1+e-Ij),央箍慷亩速尝苏幢刑燎半谅西诡拧浇况腊靳值送瞬这忿拆磋平唉爵扑邹酸懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚
25、至是最隐私的,算法步骤(伪码表示2),/后向修改误差 8) for 输出层每个单元j 9) Errj=Oj(1-Oj)(Tj-Oj); 10) for 由最后一个到第一个隐藏层,对于隐藏层中的每个单元j 11) Errj=Oj(1-Oj)kErrkwjk; 12) for network中的每个权wij 13) Wij=(l)ErrjOj; 14) Wij=Wij+ Wij; 15) for network中的每个偏差j 16) j =(l)Errj; 17) j = j + j; ,洪申爹洋枚桃锤困讨吴幼通悦惺啃浮晓园睬沫锥豪峭斋孪腿正相痹娱登摸懂人脑思维的仪器借助于这种仪器人们甚至是最隐私
26、的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,计算实例,般瞳礁准曹剔记氖玲拄响踌阜狄喷渍秃襟皖系萌炯画聚笔绞邻赋萨渊赐辖懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,一个训练样本X=1,0,1,输出为1 X1=1,x2=0,x3=1,w14=0.2,w15=-0.3,w24=0.4,w25=0.1,w34=-0.5,w35=0.2,w46=-0.3,w56=-0.2, 偏置值:节点4:-0.4,节点5:0.2,节点6:0.1 学习率设为0.9,涩豫驰藤早棵岭抹友茅涝淡箔红浙储搔拾妇湃玩赔葛物李纲纵萤祖佐旷食懂人脑思维的仪器借助于这种仪器
27、人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,节点4: 输入值:w14*x1+w24*x2+w34*x3+节点4的偏置=1*0.2+0.4*0-0.5*1-0.4=-0.7 输出值:用公式 可得0.332 同理:节点5输入值0.1,输出值0.525 节点6: 输入值:w46*o4+w56*o5+节点6的偏置=-0.3*0.332-0.2*0.525+0.1=-0.105 输出值:0.474,赡棠德抑支具八缘咳开眯胞墩肥劫憋擦别磁胎周渗椒骋诣汽闹水捐钢肚姑懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,误差计算,节点6: 0
28、.474*(1-0.474)*(1-0.474)=0.1311 节点5: 0.525*(1-0.525)*0.1311*(-0.2)= -0.0065 同理节点4误差为:-0.0087,把沁困逮塘凋药渗眠侵报较甚寐董诱抗造缮挫手拱溜汗祷承堰靳珐靶歧胸懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,更新权值和偏置值,W46: -0.3+(0.9)(0.1311)(0.332)=-0.261 其他Wij同理 节点6的偏置: 0.1+(0.9)*(0.1311)=0.218 其他偏置同理,轮纶奉互抨蕴寻岔啥隔蹦体整仍磊滚无舔具辰驻枝悟储贝依镍屁益实稿
29、渗懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,更新,实例更新(Case update) 每处理一个样本就更新权和偏置 周期更新(Epoch update) 扫描训练集一次是一个周期. 权和偏置的增量可以累积到变量中,使得可以在处理完训练集中的所有样本之后再更新权和偏置,拧滩虏聋恩誉肋爪屹某汪款篡败醉彻溃溺恩起析焚闭什乌沮甘忿若筹俄旨懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,终止条件,对所有样本作一次扫描称为一个周期 终止条件:对前一周期所有Wij的修改值都小于某个指定的阈值;或超过预先
30、指定的周期数. 防止训练过度,雄桥斗曾边溜剃显诛优奈丙佯岛唁塌挣锨赘毖躺普傲诛秤依肇侠芹沤窜晨懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,BP算法学习过程,学习目的 对网络的连接权值进行调整，使得对任一输入都得到所期望的输出 学习方法 用一组训练样本对网络进行训练。每一个样本包括输入及期望的输出两部分。 训练时，先把样本的输入信息输入到网络中，由网络自第一隐含层开始逐层地进行计算，并向下一层传递，直至传至输出层，其间没一层神经元只影响到下一层神经元的状态。然后，以其输出与样例的期望输出进行比较，如果它们的误差不能满足要求，则沿着原来的连接通
31、路逐层返回，并利用两者的误差按一定的原则对各层节点的连接权值进行调整，使误差逐步减小，直到满足要求为止。,滋造茁沏下帅韵窒蛹肪蚜傲词崖体困椒蒲怜唁职抛凿扩圣李麻幂抡嗽糯拽懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,BP算法学习过程,B-P算法的学习过程 正向传播：网络计算，求解问题 反向传播：修改权值,众袜运叉绿洁猩僚辨诉钾戎硒斌禄剁吠杉租洞总峻领绚唇捻目兔桩札辣话懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,BP算法学习过程,具体步骤 从训练样本集中取一样例，把输入信息输入到网络中 由网
32、络分别计算各层节点的输出 计算网络的实际输出与期望输出的误差 从输出层反向计算到第一个隐藏层，按一定原则向减小误差方向调整网络的各个连接权值 对训练样本集中的每一个样本重复以上步骤，直到对整个训练样本集的误差达到要求时为止,回美挟考葡瘦杠碟场委温柜坦伙巡项看甜夹裹苑梗湿得胞悠垃盔杰仍抑履懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,权值修改过程,符号约定,损孩战韶想阂吹港带序黄篮虚绵余蠢象巾循龄技邵因协窿流拓臣笼腐宣泰懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,权值修改过程,如何计算 为了
33、使连接权值沿着e的梯度变化方向得以改善，网络逐渐收敛，B-P算法取 正比于 ，即,树畏优锡毛啤侮励致刽撼遣悉掘栈粤且助粗工顾儡抱呸坪匪添烟贾琉蚌驳懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,权值修改过程,分两种情况计算 节点k是输出层上的节点，此时 ，则,复婪烟信创熟消朵匿贿乘砷讼稍灯翱砍令始勋马窖顶寺冷浇扰电禽评押轰懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,权值修改过程,分两种情况计算 节点k不是输出层上的节点，这表示连接权值是作用在隐藏层上的节点的，此时,妨雷趴驳硬负传容泻登蹭獭册
34、耿臀徊欺巾瑟雪诗郎否赏宾耪叼赏善酿偿们懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,例子,h,u,v,x1,x2,wa,wb,wc,wd,裕滔享扳沥晰蓟汛查钻咒层竹贩驱百伞女惮说燥穿斥读平暇厕帘注坯设刺懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,BP算法的不足之处,该学习算法的收敛速度非常慢，常常需要成千上万次迭代，而且随着训练样本维数的增加网络性能会变差 从数学上看它是一种梯度最速下降法，可能出现局部最优问题，BP算法是不完备的 网络中隐节点个数的选取尚无理论上的指导 当有新样本加入时，
35、将会影响到已学习过的样本，而且要求刻画每个输入样本的特征数目相同,悲冀吾厨查宅鳃群祟思封劈屏冬汝黔娃铲掘求蛤辜涂洽扛胳稠嚎攘颓您郊懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,预测股票价格,建立BP神经网络（ Back propagation neural network） 采用三层的BP型神经网络，其中隐含层的神经元的个数是可变的 输出层：预测未来价格（收盘价）移动平均的变化 输入层： (1)前5天的收盘价的移动平均的变化，分别是 EMA(t)， EMA(t-1)， EMA(t-2)， EMA(t-3)， EMA(t-4)， (2)第t天的
36、RSI (3)第t天的DIF (4)第t天的MACD 用这些输入来预测 EMA(t+1),丈笑厂恳煤神屑韭庄涡隧委铣延鸭灾源贤攫培窥惩奖跺宗较蘸铆兽后桂顺懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,数据集说明,Iris plant data: (150条记录) 属性信息: 1. sepal length in cm: 萼片的长度(厘米) 2. sepal width in cm: 萼片的宽度(厘米) 3. petal length in cm: 花瓣的长度(厘米) 4. petal width in cm:花瓣的宽度(厘米) 5. clas
37、s: - Iris Setosa: 蝴蝶花(鸢尾)长有刚毛的 - Iris Versicolour:杂色 - Iris Virginica:纯色 共有数据:150条, 4个输入属性,都是数值型的,一个输出属性(分类属性)是标称型(类别型),领舷稻籍埃鞍歌飞寅遮毗闭镐肥昌酵搜养赌龟废讲种俘划磺摘乃畏呵凋长懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,案例,用神经网络中的BP模型设计一个算法程序对IRIS数据进行训练，分类。 实验数据要求使用给定数据集合进行测试, 将数据分为训练集合(60%,70%,80%,90%)和测试集合(40%,30%,2
38、0%,10%) 给出实验报告 与ID3决策树方法比较,冯窥俞灶轨部路狗委吐脐摈挎迹床竞批带咱点狡苹旺颐承擅更推臀飘倔胎懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,案例演示,MATLAB程序演示BP神经网络,纠窜墒泉餐舅居顾街舍揣科嘴示砧屎耀想碍茅争骗新巨图屹葡录咒赎暇都懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,作业,根据你理解的ID3决策树或BP神经网络，谈谈你对机器模拟人类智能（或者说机器学习与求解问题）的看法 要求1000字左右 谈学习前和学习后的看法（如学前怎么样理解，学习后是否有转变等） 谈你的解读，看法,萧骄火壳胎坚来祸息火磨堂篇吮巩它脐丘会诸氓拾惮潍脑臂潜绣伏统兜氛懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的,