数据库技术的应用与发展.ppt

1、第十二讲 数据库技术的应用与发展本章要点数据库技术的应用数据库技术的发展云存储技术及云数据库12.1 数据库技术的应用数据库技术的应用数据模型数据模型面向对象模型面向对象模型关系模型关系模型层次网状模型层次网状模型其它计算其它计算机技术机技术分分布布处处理理并并行行处处理理人人工工智智能能多多媒媒体体模模糊糊技技术术商业管理商业管理计划统计计划统计科学实验科学实验决策支持决策支持应用领域应用领域 数据仓库数据仓库分布式分布式数据库数据库并行并行数据库数据库云云技技术术12.1.1数据仓库的概念、特点与组成数据仓库的概念、特点与组成数据仓库的概念数据仓库的概念数数据据仓仓库库就就是是一一个个面面

2、向向主主题题的的（Subject Oriented）、集集成成的的（Integrate）、相相对对稳稳定定 的的（Non-Volatile）、反反 映映 历历 史史 变变 化化（Time Variant）的的数数据据集集合合，通通常常用用于于辅辅助决策支持（助决策支持（DDS）操作数据库系统与数据仓库区别操作数据库系统与数据仓库区别数据库用于事务处理数据库用于事务处理数据库作为数据资源用于管理业务中的事务处理。数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。它已经成为了成熟的信息基础设施。数据库中存放的数据基本上是保存当前数据，随着数据库中存放的数据基本上是保存当前

3、数据，随着业务的变化随时在更新数据库中的数据。业务的变化随时在更新数据库中的数据。不同的管理业务需要建立不同的数据库。例如，银不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。和信用卡数据库。数据仓库用于决策分析数据仓库用于决策分析数据库用于事务处理，数据仓库用于决策分析数据库用于事务处理，数据仓库用于决策分析数据库保持事务处理的当前状态，数据仓库既保存数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据过去的数据又保存当前的数据数据仓库的数据是大量数据库的集成数据仓库的数据是大

4、量数据库的集成对数据库的操作比较明确，操作数据量少。对数据对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大仓库操作不明确，操作数据量大操作数据库系统和数据仓库的区别操作数据库系统和数据仓库的区别联机事务处理（联机事务处理（OLTP）联机事务处理（联机事务处理（On Line Transaction Processing，OLTP）是在网络环境下的事务）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理为特征，使用户利用数据库能够快速地处理具体的业务。具体的业务。OLTP应用要求多个查询并

5、行，以便将每个应用要求多个查询并行，以便将每个查询分布到一个处理器上。查询分布到一个处理器上。OLTP的特点在于事务处理量大，但事务处理内的特点在于事务处理量大，但事务处理内容比较简单且重复率高。容比较简单且重复率高。OLTP处理的数据是高度结构化的，涉及的事务处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定比较简单，数据访问路径是已知的，至少是固定的。的。OLTP面对的是事务处理操作人员和低层管理人面对的是事务处理操作人员和低层管理人员员联机分析处理（联机分析处理（OLAP）决策分析需要对多个关系数据库共同进行大量的决策分析需要对多个关系数据库共同进行大量的综合

6、计算才能得到结果。综合计算才能得到结果。E.F.Codd在在1993年提出了多维数据库和多维分析年提出了多维数据库和多维分析的概念，即联机分析处理（的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。）概念。关系数据库是二维数据（平面），多维数据库是关系数据库是二维数据（平面），多维数据库是空间立体数据。空间立体数据。OLAP的基本思想是决策者从多方面和多角度以的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。多维的形式来观察企业的状态和了解企业的变化。OLTP vs.OLAP12.1.2数据仓库的数据模型数据仓库的

7、数据模型一个数据仓库建立在多维数据模型，多维数一个数据仓库建立在多维数据模型，多维数据模型把数据看成数据立方体的形式据模型把数据看成数据立方体的形式果汁可乐牛奶商品维商品维奶油浴巾香皂北京上海长沙1 2 3 4 5 6 7城市维城市维日期维日期维有有关关多多维维数数据据模模型型的的几几个个概概念念：维维、维维类类别别、维维属属性、度量、粒度及分割等性、度量、粒度及分割等 数数据据仓仓库库语语义义中中，一一个个n-D底底层层方方体体称称为为基基本本方方体体。最最高高层层的的0-D存存放放最最高高层层的的汇汇总总，称称为为顶顶点点方方体体。所有的方体格组成了立方体所有的方体格组成了立方体关于数据综

8、合级别与粒度的确定关于数据综合级别与粒度的确定:一般把数据分成一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、四个级别：早期细节级、当前细节级、轻度综合级、高度综合级高度综合级一个数据立方体允许以多维对数据模型进行观察一个数据立方体允许以多维对数据模型进行观察维表：例如产品的维表包含属性（产品名，品牌，类型）维表：例如产品的维表包含属性（产品名，品牌，类型），时间的维表包含属性（日，星期，月，季度，年），时间的维表包含属性（日，星期，月，季度，年）事实表：包含度量（如产品销售总量）以及每个相关维事实表：包含度量（如产品销售总量）以及每个相关维表的关键字表的关键字多维数据模型的物理实

9、现多维数据模型的物理实现多多维维数数据据库库（MDDB）,其其数数据据是是存存储储在在大大量量的的多多维维数数组组中中，而而不不是是关关系系表表中中,与与之之 相相 对对 应应 的的 是是 多多 维维 联联 机机 分分 析析 处处 理理（MOLAP）关关系系数数据据库库是是存存储储OLAP数数据据的的另另一一种种主主要要方方式式。与与之之对对应应的的是是关关系系联联机机分分析析处处理（理（ROLAP）12.1.3数据仓库的数据挖掘数据仓库的数据挖掘数据泛滥问题：数据泛滥问题：自动数据收集工具和成熟的数据库技术使得大自动数据收集工具和成熟的数据库技术使得大量数据存储于数据库，数据仓库以及其他信息

10、量数据存储于数据库，数据仓库以及其他信息库库我们数据丰富但信息贫乏我们数据丰富但信息贫乏解决办法：数据仓库和数据挖掘解决办法：数据仓库和数据挖掘数据仓库和联机分析处理数据仓库和联机分析处理大型数据库中的有趣知识（规则和模式）大型数据库中的有趣知识（规则和模式）数据挖掘的概念数据挖掘的概念数数据据挖挖掘掘(Data Mining)，就就是是从从大大量量数数据据中中获获取取有有效效的的、新新颖颖的的、潜潜在在有有用用的的、最最终终可可理理解解的的模模式式的的非非平平凡凡过过程程，简简单单的的说说，数数据据挖挖掘掘就就是是从从大大量量数数据据中中提提取取或或“挖挖掘掘”知知识识，又又被被称称为为数数

11、据据库库中中的的知知识识发发现现(Knowledge Discovery in Database,KDD)欺骗性检测和管理入侵检测：入侵检测：如何进行检测：1.历史数据2.对当前模式进行分类常用方法：神经网络决策树支持向量机贝叶斯分类时序分析.12.2 数据库技术的发展数据库技术的发展数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等互相渗透，互相结合，成为当前数据库技术发展的主要特征，涌现出各种新型的数据库系统12.2.1 分布式数据库分布式数据库：分布在不同物理结构上的独立数据库集合起来的系统，在逻辑上属于同一系统，但在物理结构上是分布式的同构系统(Homogen

12、eous)：所有的站点都使用相同的数据库管理系统，它们之间相互熟悉并合作处理客户的需求异构系统(Heterogeneous)：不同的站点有不同的模式和不同的数据库管理系统。站点之间相互不熟悉，所以在事务处理过程中，它们仅仅提供有限的功能分布式数据库的优缺点优点：（1）灵活的体系结构（2）数据共享（3）可靠性高、可用性好（4）性能得到改善（5）可扩充性好（6）提高资源利用率缺点：（1）并发控制困难（2）系统开销大（3）数据安全性和保密性较难处理12.2.2 空间数据库空间数据库特征：（1）空间特征：每个空间对象具有空间坐标。（2）非结构化特征：空间数据不满足结构化的要求，将一条记录表达成一个空间

13、对象时，它的数据项有可能是变长的（3）空间关系的特征：空间数据中记录的拓扑信息表达了多种空间关系（4）海量数据特征：空间数据库是海量数据，其数据量相当大12.2.3 主存数据库主存数据库（Main Memory DataBase，MDB），就是数据全部放在内存中的数据库，如 IBM 的 OBE（Office-By-Example）、System M、MARS 等数据库主存数据库的特点（1）备份与恢复：备份、恢复技术成为决定主存数据库性能的一个关键（2）并发控制：主存数据库中较为普遍的并发控制方法仍是二阶段封锁，但是锁定时间较短（3）索引及数据组织：主存数据库设计了许多不同形式的索引结构，得以广

14、泛应用的是 T 树（4）查询优化：优化的重点放在降低 CPU 处理代价上，以及减少主存占有量和数据复制量（5）应用程序接口：主存数据库可以提供更高效的应用程序接口，也可以保持与磁盘数据库一致的应用程序接口以获取兼容性12.2.4 多媒体数据库多媒体数据库的特征能表示和处理多种媒体数据。能反映和管理各种媒体数据之间的空间或时间的关联。提供比传统数据库更强的适合非格式化数据查询的搜索功能。提供事务处理和版本管理功能多媒体数据库的体系结构（1）组合型结构集中统一型结构C/S型结构12.3 云存储技术及云数据库云存储技术(1)云计算：云计算是并行计算(Parallel Computing)、分布式计算

15、Distributed Computing)和网格计算(Grid Computing)的发展(2)云存储：是指通过集群应用、网格技术和分布式文件系统等功能，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统(3)云计算与云存储的关系：与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。从架构模型来看，云存储系统比云计算系统多了一个存储层，在基础管理上也增加了许多与数据管理和数据安全有关的功能，两者在访问层和应用接口层则是完全相同的云存储的结构模型(1)存储层：是云存储最基础的部分，云存储中的存储设备往往数量庞大且分布于

16、不同地域，彼此之间通过广域网、互联网或者光纤通道网络连接在一起(2)基础管理层：是云存储最核心的部分，通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作(3)应用接口层：是云存储中最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务(4)访问层：云存储提供的访问类型和访问手段云数据库(1)谷歌(Google)的云数据库系统(BigTable)BigTable使用结构化的文件来存储数据，不是一个关系型的数据库，不支持关联或类似于SQL的高级查询，具有的是多级映射的数据结构典型技术：运用了很多数据库实现的策略，如可扩展

17、性和高性能不完全支持关系数据模型，动态控制数据部署和数据格式用户通过行名和列名检索数据，行名和列名可以是任意字符串用户可以定义结构化和半结构化的数据BigTable 的数据模型BigTable是一个稀疏的、分布式、常驻外存的多维排序映射表，依靠行关键字、列关键字和时间戳检索数据(row:string,column:string,timestamp:int64)-cell contentsRows行关键字是任意字符串对单行数据的读写操作都是原子集每行代表要存储的数据按行关键字的字母顺序排列数据表中的行区间是动态划分的，每个行区间称为表块（Tablet），是进行分布式处理和负载均衡的最小单位Row

18、s(cont.)用户可以高效读取短的连续行，并且只需要跟少数几台计算机进行通信通过将网页地址倒排可以保证同一域名下的行数据是连续排列的Example:math.gatech.edu,math.uga.edu,phys.gatech.edu,phys.uga.edu VS edu.gatech.math,edu.gatech.phys,edu.uga.math,edu.uga.physColumns列关键字采用以下语法结构:族名：限定词Column family构成了访问控制的基本单位创建列族后数据才能被存放在列族的某一关键字下一个表可以由任意数目的列用户可以使用它们进行查找Timestamps用于存储不同版本的数据用户的应用程序可以显示地指定时间戳列族支持两种时间戳的设置:“Return most recent K values”“Return all values in timestamp range(or all values)”本章小结数据库技术的应用数据库技术发展的主要特点主流数据库概念：分布式数据库、空间数据库、主存数据库、多媒体数据库云计算与云存储的关系典型的云数据库系统