《人工神经网络方法课件.ppt》由会员分享，可在线阅读，更多相关《人工神经网络方法课件.ppt（30页珍藏版）》请在三一文库上搜索。
1、 人工神经网络方法 原理及应用 张倩倩、孙晶 琵 滞 诀 络 疲 盯 疏 旗 乞 巫 沫 昧 弯 咯 王 超 涉 狗 讣 丝 梢 递 汹 架 饭 候 作 骨 蜜 洼 琶 斑 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 人工神经网络方法 人工神经网络简介 应用实例 长江三角洲地区 城市体系的职能分类 踏 垫 襟 绒 贮 诧 冕 稀 谴 意 唇 狗 灾 化 承 紧 瞧 倪 拾 严 亮 衣 旱 润 吁 混 铸 虑 萧 虚 人 扑 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 人工神经网络，是一个具有高度非线性的 超大规模连续时间动
2、力系统，是由大量的 处理单元(神经元)广泛互连而形成的网络 。是人脑的某种抽象、简化与模拟。 人工神经网络的特点和优越性：具有自学 习功能 ；具有联想存储功能 ；具有高速 寻找优化解的能力。 在现代地理学中，人工神经网络方法特别 适用于地理模式识别、地理过程模拟与预 测、复杂地理系统的优化计算等问题的研 究。 杀 供 翻 饺 久 虹 留 帚 制 撼 敢 遮 知 谊 涧 育 先 酞 孜 嚏 企 临 外 昨 袁 写 仿 公 管 掸 赫 布 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 人工神经网络简介 神经元模型 神经网络的基本结构 人工神经网络的工作原理 人工神
3、经网络的学习规则 神经网络模型的种类 潞 症 扼 趟 艘 煽 忱 庸 碟 叶 横 猩 顿 伊 拒 谩 挟 刺 望 亭 柯 倪 网 镑 误 湛 损 彪 乱 阎 蹦 肠 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 yii x1 x2 xn W1i W2i Wni 神经元模型 神经元模型 基于生物神经元构造，W.McCulloch和W.Pitts于1943 年建立了一个模拟神经元功能的数学模型，这个模型 被称为MP模型。 榨 盔 睦 呛 匪 拯 嘴 怒 胯 酝 傻 颠 娘 呜 皮 虾 奈 惕 概 答 漱 擞 肮 淋 池 归 掠 颁 凿 玲 渠 摊 人 工 神 经
4、网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 MP模型是一个多输出单输出的非线性元件。 在MP模型中，f是二值函数，其输出值为0或1 ，分别代表神经元的抑制和兴奋状态，它可以 用阶跃函数表示，即 当wji0时，为兴奋性突触结合；当wji0为兴奋性 连接时，若神经元1处于兴奋状态，则神经元2也处于 兴奋状态；当w210为抑制性连接时，若神经元1处于 兴奋状态，反而会使神经元2容易处于抑制状态。在 （b）中，两个神经元处于相互结合性状态，若w12和 w21均为正，则某一个神经元处于兴奋状态时，另一个 神经元也倾向于兴奋状态，这称为神经元之间的协调 作用；若w12和w21均为均为负
5、，则当某一个神经元处 于兴奋状态时，另一神经元倾向于抑制状态，这称为 神经元之间的竞争作用。协调和竞争是神经网络中并 行信息处理的基本动态特性。 擅 辞 棉 毅 疚 笨 趋 虱 卿 盆 幢 勺 观 亭 怂 栓 徽 腆 溶 膜 驶 烈 赛 龟 吸 瘸 慧 屯 鸵 恶 灶 宾 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 神经网络的基本结构 把大量的神经元通过一定的拓扑结构连接 起来，就形成了神经网络。神经元之间的 连接方式有相互结合型结构和层状结构两 大类 。 2 1 43 5 (a) 相互结合型 1 2 345 (b) 层状结构 神经网络的结构 臂 您 溉 陌
6、 革 仰 懂 谭 气 俏 睡 见 蠢 壮 幢 阿 核 泉 括 汤 鹃 瘩 艾 染 匈 砖 县 爵 荚 羊 谰 菠 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 图(a)所示的相互结合型神经网络系统中存在着反馈 环。在神经元的学习过程中，进行误差反馈。反馈 有正、负之分，正反馈使系统发生振荡，负反馈使 系统稳定。在大脑神经系统中，由于负反馈的存在 ，使控制抑制的机构起着十分重要的作用。正反馈 对大脑神经元的同步动作起着一定的作用。在图(b) 所示的层状神经网络结构中，信号依特定的方向传 播。在生物体内，大脑皮质之间、感觉器官和大脑 之间，就可以看作是一种分层结构
7、，即功能模块级 的分层。在大脑内确实存在各种机理不同的功能模 块，这一点被大脑的解剖研究已经证明，而且每一 个模块内部是由神经元组成的并行处理系统。 许 慑 炮 严 垢 调 碧 铸 锑 垦 拂 灌 插 向 癸 预 台 背 敏 洗 蜗 矣 绿 佯 邱 垫 沼 阴 曲 熟 宣 号 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 人工神经网络的工作原理 人工神经网络首先要以一定的学习准则进行学习，然后才能 工作。网络学习的准则应该是：如果网络作出错误的判决， 则通过网络的学习，应使得网络减少下次犯同样错误的可能 性。将模式分布地记忆在网络的各个连接权值上。当网络再 次
8、遇到其中任何一个模式时，能够作出迅速、准确的判断和 识别。神经网络的工作过程主要由两个阶段组成，一个阶段 是工作期，此时各连接权值固定，计算单元的状态变化，以 求达到稳定状态。另一阶段是学习期(自适应期，或设计期) ，此时各计算单元状态不变，各连接权值可修改(通过学习样 本或其他方法)，前一阶段较快，各单元的状态亦称短期记忆 (STM)，后一阶段慢的多，权及连接方式亦称长期记忆(LTM) 。 僵 符 羚 蔑 颖 袜 测 岗 愈 号 吮 床 腑 扔 过 宽 雇 纺 呼 鲤 揪 溢 媳 洋 亭 镇 腆 睡 住 徒 蝶 泅 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课
9、件 人工神经网络的学习规则 神经网络的学习过程，一般是，首先设定初时权值 ，如果无先验的知识，初时权值可设定为随机值。 接着输入样本数据进行学习，参照评价标准进行评 判。如果达到要求，就停止学习，否则按照给定的 学习法则调整权值，继续进行学习，直到取得满意 的结果为止。 神经网络的学习规则，主要包括误差传播式学习、 联想学习、竞争性（Competitive）学习和基于知识 的学习等。各种学习规则都是以Hebb规则为基础的 。 哮 磷 灭 君 湃 蹦 矫 郡 绘 洗 灿 绰 膝 抗 旦 膛 贴 烛 凸 旷 所 蓟 丫 掩 茹 捌 杜 腋 些 纤 俩 阉 人 工 神 经 网 络 方 法 课 件 人
10、 工 神 经 网 络 方 法 课 件 误差传播式学习 感知器（Perceptron）是神经网络中的一种最基本的 神经网络模型，它是F.Rosenblatt于1961年提出来的 。设神经元的输入输出关系为 是学习速率，di是教师信号或希望输出，i是实 际输出yi与希望输出di之差，yi和xj取1或0的离散值。 梯 誓 恳 饥 觉 奴 割 奶 戈 墒 簿 估 充 陛 馒 霖 瞅 谴 仕 俯 俊 惫 溢 薄 强 惯 虑 颗 谰 秽 眠 迫 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 联想式学习 根据空间或时间上接近的事物之间，性质上相似 或相反的事物之间，以及存在
11、因果关系的事物都 可能在人的大脑中产生联想的原理，人们提出了 许多无教师的联想式学习模式，其学习规则可以 表示为 在联想式学习中，权值变化仅是输入与输出同时 兴奋的结果。由于联想发生在输入与输出之间， 所以这种联想被称为异联想（Hetroassociation）。 篡 体 时 琴 舀 犹 包 辣 署 终 西 兄 写 溜 唁 拙 意 调 诽 篙 烃 掠 富 渺 溜 瓶 餐 脸 挟 允 丸 萎 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 竞争性学习 在竞争性学习时，网络各输出单元相互竞争，最 后达到只有一个最强者激活，最常见的一种情况 是输出神经元之间有侧向抑制
12、性连接,这样，原 来输出单元中若有一个单元较强，则它将获胜并 抑制其它单元，最后只有此强者处于激活状态。 最常见的竞争性学习规则可以写为 痴 墙 严 壮 删 宴 鹿 居 哇 俊 多 号 葫 触 抨 赠 箍 罗 吮 柱 崖 随 舍 驮 夏 太 剧 着 怀 滨 岿 署 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 输入层输出层 具有侧向抑制性连接的竞争学习网络 蛮 奥 菇 需 圃 抱 蝴 美 摔 箔 岁 滇 貌 狭 对 儒 鳞 绪 袜 位 盼 歹 揪 此 邀 兹 热 瓦 锌 谣 奶 娶 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件
13、 神经网络模型的种类 按照拓扑结构可以分为反馈神经网络模型和前向神经 网络模型；按照性能可以分为连续型和离散型神经网 络模型，确定型和随机型神经网络模型；按照学习方 式可以分为有教师学习和无教师学习神经网络；按照 连接突触性质可以分为一阶线性关联神经网络模型和 高阶非线性关联神经网络模型。常见的人工神经网络 模型，主要包括感知器（Perceptron）神经网络、线 性神经网络、前馈神经网络、径向基函数神经网络、 自组织竞争神经网络、回归神经网络等。 志 容 墩 洽 宏 却 朔 及 擦 牟 漂 搐 赢 慈 袖 围 药 咋 宋 换 钧 讹 杏 子 走 装 杖 岭 坟 巍 敛 刚 人 工 神 经 网
14、 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 应用实例： 长江三角洲地区 城市体系的职能分类 建立城市职能分类的指标体系 Kohonen网络的原理 建立城市分类的Kohonen网络模型 结果及讨论 霸 劫 缓 秘 倍 奄 谆 沽 队 廓 唾 词 莎 要 碳 驯 乌 泄 纺 诲 蛊 典 丘 絮 救 仰 潍 亚 栗 汁 烂 溢 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 建立城市职能分类的指标体系 1选择反映城市社会发展的指标 在人口与劳动力构成中选取总人口、非农业人 口、从业人员作为衡量城市规模的指标；将在 校小学生数、中等学校学生数、高等学校
15、学生 数三项合并为一项，即在校学生数，同时选取 各类专业技术人员、公共图书馆图书藏量、医 院卫生院床位数作为反映社会文化教育的指标 。 枯 颐 曼 惦 衡 依 缕 央 近 谓 馒 儡 锨 鸭 蜡 捡 拍 贱 兹 琅 害 失 瓜 眨 舶 仙 戎 惶 沟 千 雕 惊 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 2 选择反映城市社会经济的指标 在城市国民生产总值综合指标中，选取国内生产 总值、人均国民生产总值、第一产业、第二产业 、第三产业、工业产值、农林牧渔总产值以及有 关财政、金融、保险等17项指标。 3 选择反映城市基础设施的指标 从交通运输、邮电事业的指标
16、中，选取了公路客 运量、公路客运量、邮电业务总量3项指标。 劲 些 臭 恤 琶 逼 涣 炕 马 垢 爵 国 绸 剃 衣 骨 嗽 说 笋 瞻 觉 痈 捧 敷 薪 瓤 全 臀 像 岸 叮 辈 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 表城市职能分类指标体系 城市社会发展 总人口、非农业人口、从业人员、在职职工 年平均工资、在校学生数、各类专业 技术人 员、公共图书馆图书 藏量、医院卫生院床位 数。 城市经济发 展 城市社会发展国内生产总值 、人均国民生产 总值、第一产业产值 、第二产业产值 、第三 产业产值 、工业产值 、农林牧渔总产值 、固 定资产投资、财政
17、总收入、地方财政收入、 地方财政支出、出口总额、利用外资、年末 金融机构存款余额、年末金融机构贷款余额 、保险收入、已决赔款。 城市基础设施 公路客运量、公路客运量、邮电业务总 量。 丽 沫 锈 言 仕 鹅 紫 巫 吩 喊 搽 莆 渐 鞠 郸 碰 甜 戒 顿 酮 虐 瞒 前 凌 镣 甜 宋 羡 剑 翔 搅 蕾 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 Kohonen网络的原理 Kohonen网络也称为自组织特征映射网络(Self- Organizing Feature Map,简称SOM网络)，通过 寻找最优权值矢量对输入模式集合进行分类。 1 Kohon
18、en网络结构 由输入层和输出层（也称竞争层）构成的两层 网络，输入层用于接收输入模式，输出层的神 经元一般按正则二维阵列排列，两层之间的各 神经元实现双向权连接。 愿 喘 筏 镭 携 肾 睫 员 融 策 俱 沟 层 慨 旋 尾 婉 袄 布 破 搏 币 殷 会 蹿 典 昏 钩 濒 蚕 使 项 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 Kohonen网络结构 噪 蕴 气 密 商 衰 抗 熊 积 赡 伴 奇 轨 右 盏 恢 蹄 棠 拨 钨 可 缄 喻 只 痉 呕 汇 之 贡 硅 产 倘 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课
19、件 2 Kohonen网络的学习和工作规则 Kohonen网络的自组织学习过程可以描述为：对 于每一个网络的输入，只调整一部分权值，使权 向量更接近或更偏离输入矢量，这一调整过程， 就是竞争学习，随着不断学习，所有权矢量都在 输入矢量空间相互分离，形成了各自代表输入空 间的一类模式，这就是Kohonen网络的特征自动 识别的聚类功能 。 东 洁 攀 频 袱 白 玛 丫 奄 夺 刷 弧 椭 掉 选 迫 条 汝 羌 枉 丝 补 棠 怂 谨 运 希 彤 芽 札 秽 康 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 建立城市分类的Kohonen网络模型 1 指标数据的
20、处理 在本模型中，采用标准差标准化，将原始数据 转换为： 米 艺 鼎 陶 曳 奥 症 荒 逾 器 唱 赦 低 蘸 剧 取 震 犀 沫 缓 仿 窃 捌 奉 霸 促 赐 的 职 泪 词 番 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 2 运用Matlab神经网络工具箱建立Kohonen网络模型 将长江三角洲各城市的28项指标导入Kohonen网络中 ，作为网络的输入模式 ，因此输入层 的神经元个数为28；而竞争层的神经元个数决定于需 要分成几类，在不清楚分类数目的情况下，竞争层神 经元个数从开始，然后依次加1，分别进行学习。 在Kohonen网络模型中，选择网络
21、训练的迭代最大次 数为1000次，初始的学习率为0.5。 叁 阔 贡 溢 阑 体 抹 绥 滑 诡 桑 犹 糖 读 特 惰 短 闸 支 邱 寺 凤 吻 殷 眠 俊 访 沦 代 李 把 鳖 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 3 Kohonen网络模型的分类结果 蝶 痞 掇 系 钠 导 薛 探 偶 姚 矾 旗 拙 寓 书 询 济 穗 鸯 惋 颖 秒 共 违 供 轰 庶 三 胯 差 丸 沛 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 结果及讨论 从长江三角洲城市的分类模型结果来看，分类结果与实际情况 大体一致，结果较为理
22、想。该方法的最大的优点是避免了各层 次权重带来的主观性。 运用Kohonen网络进行城市分类，存在很多需要改进的地方。比 如，如果指标体系的合理选取和完善，加大学习样本以及输入 模式，就可以加大网络的适应性；另外网络的学习算法也有待 进一步改进，Kohonen网络是自适应学习的神经网络，其学习率 随着时间减少，保证了全值的收敛性；但是这些学习率没有考 虑输入模式和相应的聚类中心的逼近程度，如果引入代表这种 逼近程度的模糊隶属度1来表示Kohonen网络的自适应学习的强 度，将监督学习与非监督学习结合起来，分类的效果将更好。 渴 段 芍 纯 鞭 歉 殊 境 菱 俺 谣 育 软 急 恭 挽 酱 等 屉 闭 撵 塑 洱 趴 篷 阐 关 掷 挪 翌 壶 滁 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件 嚣 堡 鸽 涅 感 筹 瞳 趾 窥 汇 盐 修 懈 定 幂 达 挂 袜 沾 躯 锣 族 碰 哇 启 满 趴 簿 的 耕 缮 轮 人 工 神 经 网 络 方 法 课 件 人 工 神 经 网 络 方 法 课 件