《数据挖掘论文.doc》由会员分享，可在线阅读，更多相关《数据挖掘论文.doc（5页珍藏版）》请在三一文库上搜索。
1、浅析数据挖掘与OLAP摘 要：随着社会经济的发展，市场状态的变化越来越快，也越来越多样化，决策者为了能够尽快调整市场策略，迫切需要一个决策支持系统以解决各方面的问题。而数据挖掘、OLAP是当前大型数据库或数据仓库的新型信息分析技术，在许多领域得到了广泛应用，取得了很好的成效。数据挖掘技术可以帮助我们从海量数据中发现有用的模式，已经成为数据库研究的一个新的热点。OLAP(联机分析处理)已成为一种重要的决策支持工具。它提供对数据快速的、可交互的、多角度的即席查询，为决策服务。关键词：数据挖掘；联机分析处理；数据仓库Analysis of DataMining and Online Analysis
2、 Process（OLAP）Abstract：With the development of social economy, the market changes more quickly and variably. In order to change the tactic of market quickly, the person who makes strategic decision wants to have a Decision Support System which is used to solve problems. Data Mining and OLAP are then
3、ew Information Analysis and Integration Techniques in the area of Large Data Base System and Data Warehouse.Data mining technology can help us discover useful schema from great capacity of data, and has become a new hotspot hi database research field. OLAP (On Line Analytical Processing) is a powerf
4、ul decision support tool, which provides fast, interactive ad-hoc query from many prospects and facilitates the decision making. Key Words：DataMining ；Online Analysis Process（OLAP）；Data Warehouse ( DW ) 引言随着计算机技术和Internet技术的发展，以及企业在以往事物型处理中数据的不断积累，一方面企业数据资源日益丰富，信息超载，另一方面数据资源中蕴含的知识企业却至今未能得到充分的挖掘和利用，“
5、数据丰富而知识贫乏”是常见现象。如何才能不被信息风暴所淹没，并能从中及时发现有用的知识，提高信息的利用率，已经成为企业急需面对的的一个问题。因此，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。而获取的信息和知识可以广泛用于各种应用，包括商务管理、生产控制、市场分析、工程设计和科学探索等。数据挖掘是信息技术自然进化的结果。其中数据挖掘技术包括数据清理、数据集成和联机分析处理（OLAP）等技术。OLAP 是一种分析技术，具有汇总、合并和聚集功能，以及从不同的角度观察信息的能力。所以在这种背景下，数据挖掘、OLAP技术应运而
6、生。这是两种基于大量数据库或数据仓库的新型数据分析技术。一 数据挖掘什么是数据挖掘？简单地说，数据挖掘是从大量数据中提取或“挖掘”知识。关于数据挖掘，一种较为公认的定义是由G.Piatetsky-Shapiro等人提出的。他们认为：数据挖掘是从大型数据库中提取人们感兴趣的知识，这些知识是隐含的、实现不知道的，潜在有用的信息。数据挖掘是一个交叉科学领域，受多个学科影响，包括数据库系统、统计、机器学习、可视化和信息科学。此外，依赖于所用的数据挖掘方法，可以使用其它学科的技术，如神经网络、模糊/粗糙集理论、知识表示、归纳逻辑程序设计、或高性能计算。依赖于所挖掘的数据类型或给定的数据挖掘应用，数据挖掘
7、系统也可能集成空间数据分析、信息提取、模式识别、图象分析、信号处理、计算机图形学、Web 技术、经济、或心理学领域的技术。它不仅面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。这样一来，就把人们对数据的应用从低层次的末端查询操作，提高到为各级经营决策者提供决策支持。二 OLAP（联机分析处理）联机分析处理（OLAP）的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。它是基于大型数据库或数据仓库的信息分析过程
8、，是大型数据库或数据仓库的用户接口部分，其目的是满足决策支持或多维环境特定的查询和报表要求。OLAP是针对特定问题的联机数据分析，是数据仓库上的分析展示工具。OLAP的基本思想是从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。它建立在数据多维视图的基础上，它专门用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以应分析人员要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业(公司)的经营状况，了解市场需求，制定正确方案，排除存在的问题，增加效益。即提供给用户强大的统计、分析、报表处理功能及进行趋势预测能
9、力。OLAP是以数据仓库为基础的数据分析处理。它有两个特点：一是在线性（On Line），由客户机/服务器这种体系结构来完成的；二是多维分析，这也是OLAP的核心所在。数据的多维视图使用户能从多角度、多侧面、多层次的查看包含在数据中的信息。简单地讲，OLAP就是共享多维信息的快速分析。它是跨部门、面向主题的，其基本特点是快速性、可分析性、多维性、信息性和共享性。也就是说，OLAP能快速响应用户的要求，能处理与应用有关的任何逻辑分析和统计分析，能提供多维数据分析的多维视图，能及时获得信息和管理大容量的信息，以及能在大量用户群中共享潜在的数据。其中“多维性”是其核心灵魂。目前，针对OLAP技术的研
10、究领域相当活跃，对OLAP的理解也不断深入。有人提出了OLAP的更为简洁的定义，如Nigel Pendse提出的FASMI (Fast Analysis Of Shared Multidimensional Information)。他将OLAP所满足的特点用五个词来描述：Fast对用户请求的快速响应；Analysis可以应用多种统计分析工具、算法对数据进行分析；Shared多个用户同时存取数据时，保证系统的安全性；Multidimensional体现了OLAP应用多维的实质；Information指应用所需的数据及其导出信息。OLAP包含了三种数据模型，MOLAP是基于多维数据库存储方式建立
11、的OLAP；表现为“超立方”结构，采用类似于多维数组的结构；ROLAP是基于关系数据库的OLAP，它是一个平面结构，用关系数据库表示多维数据时，采用星型模型；HOLAP（Hybrid OLAP），即混和OLAP介于MOLAP和ROLAP之间，在HOLAP中，对最常用的维度和维层次，使用多维数据表来存储，对于用户不常用的维度和数据，采用ROLAP星型结构来存储。OLAP的两种结构分析如下：图 OLAP的逻辑结构图 OLAP的物理结构三 数据挖掘与OLAO的区别与联系数据挖掘和OLAP都是基于大型数据库或数据仓库的数据分析技术，有着一定的联系和区别。数据仓库可以看作数据挖掘的一个重要预处理步骤。此
12、外，数据仓库提供联机分析处理(OLAP)工具，用于各种粒度的多维数据分析，有利于有效的数据挖掘。进一步讲，许多其它数据挖掘功能，如分类、预测、关联、聚集，都可以与OLAP 操作集成，以加强多个抽象层上的交互知识挖掘。从数据仓库观点，数据挖掘与OLAP都是数据仓库的分析工具, 但在实际应用中各有侧重，数据挖掘可以看作是OLAP的高级阶段。数据挖掘是一种挖掘型的分析工具，建立在数据源的基础上。它主要是利用各种分析方法主动地去挖掘大量数据中蕴涵的规律，产生一些假设，帮助人们在这些假设的基础上更有效地进行决策；而OLAP则是一种求证性的分析工具，建立在多维视图的基础之上,以数据仓库为直接数据源，强调执
13、行效率和对用户命令的及时响应。一般由用户预先设定一些假设，然后使用OLAP去验证这些假设，提供可以使用户很方便地进行数据分析的手段。在辅助决策时，前者是基于用户建立的一系列假设驱动，通过OLAP来证实或者推翻这些假设，是一个演绎推理的过程；数据挖掘是通过归纳的方式，在海量数据中主动找寻模型，自动发掘隐藏在数据中的价值信息。简单地说两者的区别在于，相对于OLAP，数据挖掘把更多的主动权交给了挖掘工具，在一定程度上，可以看成是人工智能的初级应用。此外，OLAP限于结构化数据，侧重与用户的交互、快速响应以及提供多维视图，而数据挖掘还可以分析诸如文本的、空间的和多媒体的非结构化数据。 虽然两者在不同角
14、度和层面上存在很大的差异，但数据挖掘与OLAP也有一定的互补性，这两种分析工具本身又是相辅相成的，且界限正在逐渐模糊。OLAP的分析结果可以补充到系统知识库中，给数据挖掘提供分析信息并作为数据挖掘的依据；数据挖掘发现的知识可以指导OLAP的分析处理，拓展OLAP分析的深度，以便发现OLAP所不能发现的更为复杂、细致的信息。由此可见,OLAP与数据挖掘各有所长,如果能将二者结合起来,发展一种建立在OLAP和数据仓库基础上的新的挖掘技术,将更能适应实际的需要。四 结束语数据挖掘是兴起于九十年代的一项用于决策支持的新技术。作为数据库中知识发现的一个重要步骤，它主要对数据进行微观、中观乃至宏观的统计、
15、分析、综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。随着各种计算机技术，如数据模型、数据库技术和应用开发技术的不断进步，数据挖掘技术也在不断发展。在数据挖掘领域，一些研究成果已被用于各种平台下的数据挖掘。在数据挖掘的许多不同范例和结构中，数据挖掘和OLAP以及在多维数据库中发现知识集成在一起形成了一种新型的分析技术，联机分析挖掘（OLAM，也称OLAP 挖掘）。对于数据挖掘的应用应通过实际具体的实例进行研究，并且对挖掘结果进行评价，从而对数据挖掘的应用步骤有了更加深刻的理解。数据挖掘和OLAP是基于应用的技术，因此很多知识和经验还需要我们在实践中进一步总结和发现。参考文献1 韩家炜.数据挖掘:概念与技术.北京:机械工业出版社.2007.2 喻钢,周定康.联机分析处理（OLAP）技术的研究J.计算机应用，2001.3 郭鲜凤.数据库原理及应用M.重庆：重庆大学出版社，2004.4 李建中.数据库原理(第二版)M.北京：电子工业出版社，2004.