数学与应用数学专业毕业论文.doc

《数学与应用数学专业毕业论文.doc》由会员分享，可在线阅读，更多相关《数学与应用数学专业毕业论文.doc（48页珍藏版）》请在三一文库上搜索。

1、I 人工神经网络 BP 算法在四川省 GDP 预测中的应用 摘 要 GDP 与大家生活息息相关，没有 GDP，人们便无法反映一国的贫富状况和 人民的平均生活水平，无法确定一国承担的国际义务，享受的优惠待遇。如何 准确的测量未来的 GDP 走势，使其对国家政策的制定起到参考作用,这是大家 普遍关注的问题。然而，随着经济的高速发展，影响 GDP 的因素变得多种多样。 GDP 预测模型具有很强的非线性, 传统的线性预测模型难以实现对 GDP 较为准 确的预测。然而，实践证明人工神经网络对于建立预测模型十分有效，它能从 数据样本中自动学习以前的经验而无需复杂的查询和表述过程，并自动地逼近 那些最佳的数

2、据蕴涵的规律。而在预测方面，BP 神经网络算法运用最为广泛。 本文以人工神经网络理论为基础，BP 神经网络算法为依据，研究 GDP 的 预测。根据四川省 1997 年到 2007 年近 10 年来的 GDP 数据，建立了神经网络 预测模型，通过对 1997 到 2006 年的 GDP 数据分析、学习，对 2007 年 GDP 进 行预测。首先对输入数据进行预处理，再利用多层前馈神经网络 BP 算法来研 究人工神经网络在 GDP 预测中的应用问题。利用 MATLAB 数学软件对模型求 解，并将预测结果与传统模型相比较。结果表明，用人工神经网络建立的预测 模型在 GDP 预测方面具有一定的理论与应

3、用价值。 关键词：GDP；人工神经网络；网络；MATLAB II The Forecast of Sichuan Provinces GDP Based on ANN BP Methods Abstract: GDP lives with everyone vitally related. It will not be able to reflect the situation of a countrys wealth and the average standard of peoples living, unable to determine a countrys international

4、 obligations, enjoy preferential treatment, if theres no GDP. The issue which common concern is that how to forecast the trend of the futures GDP accurately and make GDP play a reference role to the formulation of national policies. However, with the economics rapidly development, the impact of GDPs

5、 factors has became variety. GDP forecasting model has a strong non-linear, so traditional linear forecasting model of GDP is difficult to achieve more accurate forecasts. However, the Practice has proved that the establishment of artificial neural network prediction model is very effective,it can a

6、utomatically to study the experience of the past from the data without the complexity search and expression expression;and it can automatically to close to the regulation which from the best data.In the forecast, BP neural network algorithm being used widely. In this paper, take artificial neural ne

7、twork as theory, BP neural network algorithm as basis, to study the forecast of GDP. According to Sichuan Province from 1997 to 2007, nearly 10 years GDP data, build up a neural network prediction model to predict GDP. Through the 1997-2006 year GDP data analysis, study, to forecast the GDP of 2007.

8、First of all, pre-processing the input data, then use the multi-layer feed- forward neural network BP algorithm to study the artificial neural network in the GDP forecasts problem. Use MATLAB mathematical software tool to solve the model. And then take the results to compare with the traditional mod

9、el. And the results shows, the ANN forecasting model we have established in the GDP forecast has a value on theory and application. Key words: GDP; Artificial Neural Network; BP Neural Network; MATLAB III 目 录 第 1 章 前 言1 1.1 本论文研究背景 .1 1.1.1 GDP 的定义及概述1 1.1.2 四川省经济展状况 .2 1.1.3 经济预测研究概况及经济预测方法 .4 1.1.

10、4 人工神经网络国内外研究状况 .6 1.1.5 人工神经网络在经济预测中的应用 .6 1.2 本论文主要研究内容及思路 .7 第 2 章 人工神经网络基本模型及其功能9 2.1 人工神经元的模型 .9 2.2 人工神经网络的特性 10 2.3 人工神经网络的基本功能 11 2.3.1 联想记忆功能 11 2.3.2 分类识别功能 11 2.3.3 优化计算功能 12 2.3.4 非线性映射功能 12 2.4 人工神经网络的基本要素 12 2.4.1 神经元功能函数 13 2.4.2 神经元之间的连接形式 14 2.4.3 人工神经网络的学习（训练） 16 第 3 章 BP 神经网络概述 18

11、 3.1 BP 神经网络的结构18 3.2 BP 神经元18 3.3 BP 网络19 3.3.1 正向传播 20 3.3.2 反向传播 20 3.4 BP 神经网路算法的改进22 3.5 BP 神经网络设计的一般原则24 3.5.1 BP 网络参数设计24 3.5.2 BP 网络结构参数设计25 第 4 章 四川省经济预测模型的建立.26 4.1 指标的选取 26 4.2 数据的预处理 27 4.2.1 数据预处理方法 27 4.2.2 数据的处理 29 4.3 神经网络预测方法设计 30 4.4 四川省 GDP 预测模型 31 4.5 预测模型实例求解及分析 32 IV 4.6 神经网络预测

12、与传统预测方法的比较 35 4.6.1 多元线性回归模型35 4.6.2 神经网络预测与回归模型预测比较35 结 论.37 致 谢.38 参考文献.39 附录：相关程序及数据表.40 1 第 1 章 前 言 1.1 本论文研究背景 1.1.1 GDP 的定义及概述 1.GDP 的定义 GDP 即英文 gross domestic product 的缩写，也就是国内生产总值。通常 对 GDP 的定义为：一定时期内（一个季度或一年） ，一个国家或地区的经济中所 生产出的全部最终产品和提供劳务的市场价值的总值。在经济学中，常用 GDP 和 GNI（国民总收入，gross national Incom

13、e）共同来衡量该国或地区的经济 发展综合水平通用的指标。这也是目前各个国家和地区常采用的衡量手段。GDP 是宏观经济中最受关注的经济统计数字，因为它被认为是衡量国民经济发展情 况最重要的一个指标。一般来说，国内生产总值有三种形态，即价值形态、收 入形态和产品形态。从价值形态看，它是所有常驻单位在一定时期内生产的全 部货物和服务价值与同期投入的全部非固定资产货物和服务价值的差额，即所 有常驻单位的增加值之和；从收入形态看，它是所有常驻单位在一定时期内直 接创造的收入之和；从产品形态看，它是货物和服务最终使用减去货物和服务 进口。GDP 反映的是国民经济各部门的增加值的总额。 2. GDP 的核算

14、方法 1)用支出法核算 GDP 支出法核算 GDP，就是从产品的使用出发，把一年内购买的各项最终产品 的支出加总而计算出的该年内生产的最终产品的市场价值。这种方法又称最终 产品法、产品流动法。 如果用 Q1、Q2;Qn 代表各种最终产品的产量，P1、P2Pn 代表各种 最终产品的价格，则使用支出法核算 GDP 的公式是：Q1P1+Q2P2+QnPn=GDP 用支出法计算 GDP 的实际公式：GDP = C + I + G +（X-M） 在我国的统计实践中，支出法计算的是国内生产总值划分为最终消费、资 本形成总额和货物和服务的净出口总额，它反映了本期生产的国内生产总值的 使用及构成。 2 通过支

15、出法计算的 GDP，我们可以计算出消费率和投资率。所谓消费率就 是最终消费占 GDP 的比率，所谓投资率就是资本形成总额占 GDP 的比率。 2)用收入法核算 GDP 收入法核算 GDP，就是从收入的角度，把生产要素在生产中所得到的各种 收入相加来计算的 GDP，即把劳动所得到的工资、土地所有者得到的地租、资 本所得到的利息以及企业家才能得到的利润相加来计算 GDP。这种方法又叫要 素支付法、要素成本法。 按收入法计算的公式是： GDP =工资+利息+利润+租金+间接税和企业转移支付+折旧 从理论上讲，用收入法计算出的 GDP 与用支出法计算出的 GDP 在量上是相 等的。 3）用生产法核算

16、GDP 用生产法核算 GDP，是指按提供物质产品与劳务的各个部门的产值来计算 国内生产总值。生产法又叫部门法。这种计算方法反映了国内生产总值的来源。 运用这种方法进行计算时，各生产部门要把使用的中间产品的产值扣除， 只计算所增加的价值。商业和服务等部门也按增值法计算。卫生、教育、行政、 家庭服务等部门无法计算其增值，就按工资收入来计算其服务的价值。 从理论上说，按支出法、收入法与生产法计算的 GDP 在量上是相等的，但 实际核算中常有误差，因而要加上一个统计误差项来进行调整，使其达到一致。 实际统计中，一般以国民经济核算体系的支出法为基本方法，即以支出法所计 算出的国内生产总值为标准。 在我国

17、的统计实践中，收入法计算 GDP 分为四项： GDP=劳动者报酬+生产税净额+固定资产折旧+营业盈余 1.1.2 四川省经济展状况 四川地域广阔,人口众多,发展差异很大。改革开放 20 年来,虽然各个方面 取得了巨大的成效,经济社会有较快发展。时至我国“九五”计划结束和“十五 ”计划开始之际，2000 年四川经济运行状况为 20 世纪划上了一个较为圆满的 句号。全年国内生产总值首次突破 4000 亿元大关，GDP 完成 4010.25 亿元，增 3 长 9.0%，较之全国平均水平高出 1 个百分点。纵观全年，一、二、三、四季度 增速分别为 6.3%、10.3%、9.1%、9.4%，GDP 季增

18、速呈现出止滑回升，平稳增长 的态势。其中，投资、消费、出口“三驾马车”共同拉动经济增长是 2000 年四 川经济运行的一个显著特点。此外，长期致力于结构调整的政策措施在一定程 度上已使工业生产出现恢复性增长势头。 步入 21 世纪，四川经济的发展仍面临着诸多机遇与挑战。一方面，尽管我 国已逐步摆脱了亚洲金融危机的不利影响，但国际宏观经济环境在 2001 年仍存 在许多不确定因素；农民增收问题依然是经济政策的一大难点，城乡市场失衡 的局面在短期内仍不会有根本性改观；四川工业结构、产品结构、企业组织结 构等深层次矛盾的真正解决也需要时日。2006 年，四川经济总体上保持了速度 较快、效益较好、通胀

19、较低的良好运行态势，实现了“十一五”的良好开局。 自 2003 年以来，全球经济步入了一轮新的经济周期的扩张期，经过连续三年较 强劲增长，在全球通货膨胀的压力将会成功地得到遏制、发达国家的内需增长 将更趋平衡以及全球金融市场将更趋稳定等有利因素的带动下，2006 年全球经 济保持了较快增长的良好势头。受多种因素影响，2007 年全球经济增速有所放 缓。四川经济发展的内生动力显著增强。2006 年，GDP 跃上了 8000 亿元的新台 阶，经济发展水平和经济增长质量都有了明显的改善。同时，全国在坚持宏观 调控政策中，将继续实施稳健的财政政策和稳定的货币政策，对煤电油运气等 瓶颈部门的投资力度将进

20、一步加大，四川大型建设项目、重点建设项目增多， 在新建及续建项目的推动下，投资规模必将进一步扩大，预计今年全社会固定 资产投资增长 20%以上。另一方面，消费需求稳中趋旺，2006 年全省社会消费 品零售总额增速创近 10 年来的新高。企业效益继续改善，城乡居民收入进一步 增加都将增强居民消费信心，消费需求仍将保持平稳增长态势，预计全年社会 消费品零售总额增长 13%左右。 2008 年四川经济发展面临的主要问题：1）经济增长减速，物价涨幅回落 。我省上半年 GDP 增速放缓，同比增长 9.1% ，增速同比回落 4.6 个百分点 。受汶川大地震影响，经济增长速度明显减慢。同时，四川居民消费价格

21、总水 平（ CPI ）同比上涨 7.4% ， CPI 涨幅在 2 月份冲高 8.1% 后，虽已连续 4 个月回落，但物价高位运行的特征依然存在。2）经济效益不高，就业压力增大 4 。仅以工业为例， 1 5 月，全省实现工业利润 247.8 亿元，同比增长 14. 8% ，增速比去年同期降低 19.5 个百分点，比前 4 个月回落 38.2 个百分点 。其中，大型企业实现利润 63.7 亿元，比去年同期下降 26.2% 。六月末，全 省城乡就业人员比上年减少 29.1 万人，比一季度减少 31.8 万人，城乡登记 失业率为 4.8% ，比上年同期上升 0.5 个百分点。随着沿海经济的下滑，预计

22、有数百万农民工返乡，就业压力加大。汶川大地震对我省工业、农业、旅游， 房地产等行业和就业、招商引资、财政收入等社会经济的方方面面都带来不同 程度的影响，而且影响会持续相当一段时间，必然会对我省经济发展产生直接 或间接的影响。灾后重建的一系列工作都直接与经济发展相关。 1.1.3 经济预测研究概况及经济预测方法 经济预测是适应社会化大生产而发展起来的一门研究客观经济发展过程及 其变动趋势的科学。它是综合哲学、社会学、经济学、统计学、数学以及工程 技术等方面的方法，根据它自身科学的逻辑性，对经济过程及其各要素的变动 趋势做出客观描述的研究体系。 运用于经济领域中的预测方法，常用的有时间序列分析、多

23、元回归和经济 计量方法12。用于预测某个特定变量值而收集的数据可分为两大类：时间序 列数据和横断面数据。经济领域中的时间序列数据的定义是：按照时间点顺序 排列的经济变量的一系列数值，对于这些连续值的预测早期运用较多的是回归 统计模型，另外一个应用较为广泛的分析方法是 ARMA(自回归移动平均模型)方 法和 ARIMA（自回归求和移动平均）方法。 另一种常用的预测工具是经济计量方法。经济计量学把经济理论、统计分 析和为说明经济关系而建立的数学模型结合在一起。建立在经济计量学方法上 的预测模型与时间序列分析模型相比，具有一些明显的优点，最显著的优势就 是它们寻求被预测经济现象的实际解释。 还有一种

24、主流方法就是多元回归也称为向量自回归（VAR）方法3，它是作 为大型结构预测模型的一种替代方法。结构模型是依靠复杂的经济理论对大量 的经济变量之间的明确关系建立的经济计量模型。与结构模型相比，VAR 模型 依靠经济数据中重复发生的历史方式来预测少数关键的宏观经济量，如国民生 产总值，通货膨胀和利息率。 “无约束的”VAR 模型在只需选择涉及变量及其滞 5 后长度的经济理论中特别有吸引力。此外，无约束的 VAR 的主要问题是自变量 的数目通常很大。由于经常出现多重共线性和自由度损失问题，VAR 模型在进 行预测研究时也没有特别好的表现。以上几种方法都是目前运用于经济领域的 主流的预报方法，均属于

25、线性模型研究或者是用线性模型模拟现实生活中的复 杂系统，因此在处理非线性系统时效果显得十分一般。 在过去的二十多年里，一些学者注意到线性模型的局限性并提出了一些非 线性模型4。但这些预测方法还是属于传统预测方法，均属于模型驱动的方法， 即首先研究系统的演化行为，设定预测模型，估计、检验及模型选择，最后找 出最佳模型。隐藏在传统预测方法背后的基本观念是：系统发展有一定的规律， 而且是可以找到的。且过去或现在的因果关系或变化规律在未来仍然起主导作 用，建模与预测的目标在于从比较中寻找最佳模型。然而，由于多数复杂的系 统的非线性，使得这类方法从理论分析与实际应用上都有相当的局限性。在这 种情况下，人

26、们把目光转向了近年来兴起的神经网络模型。T.Hill5最早发表 了将神经网络应用于预测的文章，他们用非线性神经网络对计算机所产生的时 间序列仿真数据进行了学习和预测。后来，Werbos 和 Varfis 分别对实际经济 时间序列数据进行了预测研究。Weigend6等人利用神经网络研究了太阳黑子的 年平均活动情况，将神经网络与回归方法作了比较。其研究结果表明神经网络 预测优于统计预测。神经网络的预测方法日益成为人们关注的热点。 目前，基于神经网络的预测研究主要集中在时间序列预测和回归预测方面。 Sharda 和 Poil 运用 Markrudakis7等人收集的时间数据序列中 75 个对 ANN

27、 和 ARMA 模型进行了比较，结果显示 ANN 和 ARMA 性能相当。Hill 等对 ANN 和传 统的统计模型进行深入的研究，包括了非季节化的单指数平滑模型、ARMA、组 合预测模型和自然预测模型以及一种基于主观判断的方法。比较结果表明 ANN 预测优于传统的统计方法和主观判断的方法，并且在进行多步预测时优势更为 明显。我国国内学者文新辉和牛明洁8较早介绍了神经网络在经济预测中的应 用，并与传统方法作了比较。石山铭和刘豹9研究了神经网络用于多变量时间 序列预测的原理与方法，提出了组合多种信息的综合预测方法，结果表明神经 网络模型用于多变量时间序列预测，其精度和趋势均较传统统计方法有所提高

28、。 随之，国内许多学者开始关注和进行了神经网络预测的研究。马超群10等探讨 6 了基于神经网络的时间序列预测模型的建立机制，然后又提出了将时差法和 BP 方法相结合进行的时间序列的自适应建模和预测，并以外汇汇率问题为例做了 试验，试验结果表明该方法是可行的，其预测精度高于一次性建模。 1.1.4 人工神经网络国内外研究状况1112 20 世纪 80 年代，随着人工神经网络在世界范围内复苏，国内也逐步掀起 了研究热潮。1989 年 10 月和 11 月分别在北京和广州召开了神经网络及其应用 讨论会和第一届全国信号处理-神经网路学术会议；1990 年 2 月由国内 8 个学 会，即中国电子学会、人

29、工智能学会、自动化学会、通信学会、物理学会、生 物学会、生物物理学会和心理学会联合在北京召开“中国神经网络首届学术会 议” 。这次大会以“八学会联盟，探智能奥秘”为主题，收到 300 多篇学术论文， 开创了中国人工神经网络及神经计算机方面科学研究的新纪元； 2004 年 10 月在合肥召开的“人工神经网络学术会议”已是第 14 届学术年 会。经过十几年的发展，中国学术界和工程界在人工神经网络的理论研究和应 用方面取得了丰硕成果。在国际上，1987 年，在美国加州召开了第一届国际神 经网络学术会议，此后每年召开的国际联合神经网络大会 IJCNN 成为神经网络 研究者的重要学术交流平台。另外，十几

30、种国际著名的神经网络学术刊物相继 问世，如 IEEE Transactions on Neural Networks、IEEE Transactions on Circuit and Systems、Neural Networks 等，至此，神经网络理论研究在国际 学术领域获得了其应有的地位。 经过近半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、 辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学习、联想和记 忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。目 前神经网络研究与发展主要集中在：神经生理学、神经解剖学研究的发展；与 之相关的数学领域的研究与发

31、展；神经网络应用的研究与发展；神经网络硬件 的研究与发展；新型神经网络模型的研究。 1.1.5 人工神经网络在经济预测中的应用13 人工神经网络作为仿生学的杰出成果，广泛运用到了在社会经济等各个领 域，它是从微观结构与功能上对人脑神经系统进行模仿、抽象而形成的一类模 型。众所周知，人脑是由极大量的基本单元(称之为神经元)经过复杂的互相连 7 接而成的一种高度复杂、非线性、并行处理的信息处理系统。而人工神经网络 ANN(Art1ficialNeuralNetwork)就是模仿人脑工作方式，继承了人脑的优良特 性，通过电子组件或者软件模拟仿真，实现在预测领域中的应用。 人工神经网络在经济预测中有着

32、广泛的应用，比如信贷分析、市场预测等。 信贷分析，这类问题中，信用评估机构要针对不同申请公司各自的特点提出信 用评价，判断失误的例子经常发生，给信贷机构带来巨大的损失。采用神经网 络评价系统不仅可以使评价结果具有较高的可信度，而且可以避免信贷分析人 员的主观好恶和人情关系造成的错误。神经网络评价系统将公司贷款申请表中 的关键数据编码为输入向量，将实际的信用情况作为输出评价，用数以千计的 历史数据对网络进行训练后，可给出准确客观的评价结果。因此基于神经网络 的评价系统在金融风险分析领域应用十分广泛。市场预测，市场预测问题可归 结为影响市场供求关系的诸多因素的综合分析，以及对价格变化规律的掌握。

33、应用神经网络进行市场预测的一个实例是期货市场的神经网络预测。其做法是 根据某期货市场每月平均期货价格、价格不定性和市场心理指标量等因素，建 立较为准确可靠的市场模型。模型的训练数据覆盖了多年时间，它不仅能判断 价格的未来趋势，而且能在走势持续一段时间后预测到价格的反转。神经网络 市场预测在股票走势预测中也有广泛的应用。 1.2 本论文主要研究内容及思路 GDP（Gross Domestic Product）,是指在一定时期内（一季或一年） ，一个 国家或地区的经济中所生产出的全部最终产品和劳务的价值.GDP 的分析预测研 究，长期以来都是经济学家、数学家、计算机领域专家研究的重点和热点。GDP

34、 的影响因素有：国家 GDP、财政支出、社会消费品零售总额、实际利用外资、 财政收入、外贸出口总额和固定资产投资.目前的研究方法主要有线性预测方法 和非线性预测方法.建立在计量经济学理论基础上的线性方法，虽然在一定的条 件下能够有较好的预测效果，但难以描述 GDP 预测中的非线性现象，预测误差 过大.这些方法存在着一些共同的缺点，那就是：操作性差，计算复杂；需要分 析人员的经验知识，因为这些理论和方法都需要具有显式函数，而它们往往难 以找到，或只能凭经验近似表达描述，一般都有比较大的误差；再就是传统的 时间序列预测模型、线性回归、季节性预报模型似乎都很难解决多因子时间序 8 列的复杂非线性关系

35、.非线性建模方法中，神经网络理论证明了在选择适当的隐 层数及相应的神经元数目下，前馈神经网络能以任意精度逼近任意非线性函数. 本文根据历年四川省 GDP 数据，建立了神经网络预测模型，采用 BP 神经网络来 训练建立的模型，利用 Matlab 数学软件对模型求解，并将预测结果与传统模型 相比较.结果表明，我们建立的人工神经网络预测模型在 GDP 预测方面具有一定 的理论与应用价值. 9 第 2 章 人工神经网络基本模型及其功能 2.1 人工神经元的模型1415 人工神经元的研究源于脑神经元学说，19 世纪末，在生物、生理学领域， Waldeger 等人创建了神经元学说。人们开始认识到，复杂的神

36、经系统是由数目 繁多的神经元组合而成。神经元由细胞及其发出的许多突起构成。细胞体内有 细胞核，突起的作用是传递信息，作为引入输入信号的若干个突起称为“树突” 或者“晶枝” ，而作为输出端的突起只有一个，称为“轴突” 。 人工神经元是生物神经元的模拟与抽象，是构成人工神经网络的基本单元， 因此构造一个人工神经网络系统，首先要构造人工神经元模型.一个具有 n 个输 入分量的单个神经元模型如图 2-1 所示： 图图 2-12-1 单个人工神经元模型图 (1)人工神经元的三个基本要素： 1)一组连接（对应于神经元的突触） ，连接强度由各连接上的权值表示，权 值为正表示激活，为负表示抑制. 2)一个求和

37、单元，用于求取各输入信号的加权和. 3)一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一 定范围内（一般限制在0,1或-1,+1之间）. 此外还有一个偏差，即阈值 . 以上作用可分别以数学式表达出来：;)(; 1 netfonet w p i n i i )(xf P1 P2 P3 wp i i net w1 w3 w2 )(netfnet 10 其中：net 为神经元的的输入总和，相当于生物神经元的膜电位；o 为神经 元的输出；表示第 i 个输入神经元到该神经元的连接权值；表示第 i 个 wi pi 输入神经元的输入分量； 为神经元的偏差，即阈值；f (x)为激活函数，表 示神

38、经元输入-输出关系. 2.2 人工神经网络的特性 人工神经网络由大量处理单元互联组成的非线性、自适应信息处理系统。 它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处 理、记忆信息的方式进行信息处理。 人工神经网络具有四个基本特征： 1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性 现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为 一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容 错性和存储容量。 2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的 整体行为不仅取决于单个神经元的特征，而且可能主要由单元

39、之间的相互作用、 相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是 非局限性的典型例子。 3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络 不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本 身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态 函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种 函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样 性。 人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、 概念，或者一些

40、有意义的抽象模式。网络中处理单元的类型分为三类：输入单 元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现 系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观 11 察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理 体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、 大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分 布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功 能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉 学科。 人工神经网络是并行分布式系统，采用了与传

41、统人工智能和信息处理技术 完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构 化信息方面的缺陷，具有自适应、自组织和实时学习的特点。 2.3 人工神经网络的基本功能 2.3.1 联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺 激和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及 信息处理的集体行为而实现的。神经网络通过预先存储信息和学习机制进行自 适应训练，可以聪不完整的信息和噪音干扰中恢复完整的信息。这一功能是神 经网络的图像复原、语音处理、模式识别和分类方面具有重要的应用前景。 联想记忆又分为自联想记忆和异联想记忆两种：1）

42、自联想记忆：假定有 m 个样本矢量，其中 i=0,1,2,.m-1，若网络输入，表示 X i)( X X kj X k 第 k 个样本，是由于噪音、干扰或图形缺损等因素引起的误差。要求输出 ，即去掉偏差使信号按样本复原。2）异联想记忆：与自联想记忆不同， X k Y 它涉及两组样本，若样本与样本一一对应，当具有偏差的输入信号为 X k Z k 时，输出为，此联想为一联想功能。X X kj Z k Y 2.3.2 分类识别功能 神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实 际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。 假定神经网络输入 X 有 m 类

43、样本，样本元素为 n，输入相应与 m 类样本之一， yk k=0,1,2,.m-1，输入 X 与输出 Y 之间的关系如图 2-2 所示： 12 图图 2 2- -2 2 神经网络分类器图 对于，则： 。 此关系表明，当输入样本与标准样本 Rj X jk jk yk , 0 , 1 匹配时即可归类，神经网络完成分类功能。 2.3.3 优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组合，使该组合确定的 目标函数达到最小。将优化约束信息存储于神经网络的连接权矩阵之中，神经 网络的工作状态以动态系统方程式描述。设置一组随机数据作为起始条件，当 系统的状态趋于稳定时，神经网络方程的解作为输出

44、优化结果。 2.3.4 非线性映射功能 在许多实际问题中，如过程控制、系统辨识、故障诊断、机器人控制等诸 多领域，系统的输入与输出之间存在复杂的非线性关系，对于这类系统难以用 传统的数理方程建立数学模型。神经网络在这方面有独到的优势，设计合理的 神经网络通过对系统输入输出样本进行训练学习，从理论上讲，能够以任意精 度逼近任意复杂的非线性函数。神经网络的这一优良性能使其可以作为多维非 线性函数的通用数学模型。 2.4 人工神经网络的基本要素 在人工神经网络设计及应用研究中，通常需要考虑 3 个方面的内容，即神 经元功能函数、神经元之间的连接形式和网络的学习（训练） 。 y2 . ym 1 神经网

45、络 y0 ,., 110xxxn X 13 2.4.1 神经元功能函数 神经元在输入信号作用下产生输出信号的规律由神经元功能函数 f(Activation Function)给出，也称激活函数，或称转移函数。它包含了从输 入信号到净输入、再到激活函数、最终产生输出信号的过程。综合了净输入、 f 函数的作用。激活函数是一个神经元及网络的核心，决定着网络的功能.其基 本作用是：控制输入对输出的激活作用；对输入输出进行函数转换；将可能无 限域的输入变换成指定的有限范围内的输出。不同的人工神经网络模型，神经 元的激活函数也不相同。常用的激活函数如下： 1)阈值型（硬限制型） 阈值型激活函数将任意输入转

46、化为 0 或 1 的输出，函数 f (x)为单位阶跃 函数，如图 2-3 所示： 图图 2 2- -3 3 阈值型激活函数 具有此函数的神经元的输入-输出关系为： 0*, 0 0*, 1 )*( bPW bPW bPWfA 2)线性型 线性激活函数使网络的输出等于加权输入加上偏差，如图 2-4 所示： 1 0 f -1 1 f 0 -1 14 图图 2 2- -4 4 线性激活函数 此函数的输入-输出关系为：bPWbPWfA*)*( 3)S 型(Sigmoid) S 型激活函数将任意输入压缩到(0,1)的范围，如图 2-5 所示： 图图 2-52-5 型激活函数 此种激活函数常用对数或双曲正切

47、等一类 S 形状的曲线来表示，如对数 S 型激活函数关系为： ；而双曲正切 S 型曲线的输入输出函数 )exp(1 1 n f 关系为： ；S 型函数是连续可导的，反映了神经元的饱和特征， )2exp(1 )2exp(1 n n f 即函数的值域可以由研究者根据实际需要给定，当输入的值较小时，函数有一 个比较大的增益，当输入的值较大时，函数有一个比较小的增益，这样可以很 好地防止网络进入饱和状态，因此 S 型函数被广泛采用. 2.4.2 神经元之间的连接形式 人工神经网络是由大量的神经元按照一定的模式（层内连接、循环连接和 1 -1 0 n 1 f -b 0 n f -1 0 n 1 f -b

48、 0 n f 1 f 0 n 15 层间连接）相互连接而成的。按一定的规则将神经元连接而成神经网络，才能 实现对复杂信息的处理与存储。经过几十年的兴衰，人们已经发展了上百种人 工神经网络.但大部分网络都是几种典型网络的变形和组合。一般地说，人工神 经网络的连接形式和拓扑结构可以分为两大类：即分层型和互联型神经网络。 分层型神经网络的拓扑结构如图 2.4 所示，它又分为简单的前馈网络、反馈型 前馈网络和内层互联前馈网络。 1)前馈网络：各种神经元接受前一层的输入，并输出给下一层，没有反馈。 节点分为两类，即输入单元和计算单元。每一计算单元可以有任意输入，但只 有一个输出（它可以耦合到任意多个其他

49、节点为其输入） 。通常前馈网络可以分 为不同的层，第 i 层输入值与第 i-1 层输出相连，输入和输出层节点与外界相 连，而其他中间层则称为隐含层。如图 2-6 所示。 图图 2 2- -6 6 分层型神经网络的拓扑结构 分层型神经网络按照将所有神经元按功能分为若干层，一般有输入层、中 间层、输出层，各层顺序连接.因为中间层不直接与外部输入和输出打交道，所 以又称为隐层，根据处理功能的不同，隐层可以有多层，也可以没有。 (a)一般前馈网络 （b）反馈型前馈网 络 （c）内层互联前馈网络 16 2)互联型神经网络的拓扑结构如图 2-7 所示，其网络的任意两个神经元都 相互连接，构成互联神经网络；如果不是全部的神经元彼此相互连接，则构成 局部互联神经网络。 图图 2-72-7 互联型神经网络 在人工神经网络的发展过程中，对生物神经系统已从不同的角度进行了不 同层次的描述和模拟，提出了各种各样的神经网络模型，其中具有代表性的网 络模型有感知器神经网络、线性神经网络、BP 神经网络、