Oracle Big Data SQL全数据管理技术.ppt

《Oracle Big Data SQL全数据管理技术.ppt》由会员分享，可在线阅读，更多相关《Oracle Big Data SQL全数据管理技术.ppt（33页珍藏版）》请在三一文库上搜索。

1、Oracle Big Data SQL全数据管理技术,殷致云 2016年10月,Oracle Confidential Internal/Restricted/Highly Restricted,1,Oracle Confidential Internal/Restricted/Highly Restricted,2,数据分析挑战,隔离的信息孤岛难以分析,数据分析挑战,不同的数据访问接口,4,数据分析挑战,没有能跨Oracle, Hadoop和NoSQL的统一接口,客户想要什么,丰富，全面的SQL访问企业的所有数据,NoSQL,突破创新 ：融合的大数据解决方案,一条SQL可以访问所有数据源,O

2、racle,Hadoop,NoSQL,And more,Oracle 大数据SQL,大规模并发SQL查询，横跨Oracle, Hadoop和NoSQL,Oracle Database 12c,卸载查询到Exadata存储服务器Offload Query toExadata Storage Servers,小数据集快速返回Small data subsetquickly returned,Hadoop & NoSQL,卸载查询到数据节点Offload Query toData Nodes,SQL,数据子集data subset,SQL,Oracle Big Data SQL的用户,Ora

3、cle Confidential Internal/Restricted/Highly Restricted,9,OracleBig Data SQL 提供的能力,关键功能特性,Confidential Oracle Internal/Restricted/Highly Restricted,10,Big Data SQL: 企业级海量大数据管理,智能的外部表External Tables分布式数据存储的简单集成智能扫描SmartScan充分利用大数据平台的计算能力存储索引Storage Indexing自动减少I / O，从根本上提高查询分析性能谓词过滤下移Predicate Push-Do

4、wn将分区修剪处理下移到大数据平台,Confidential Oracle Internal/Restricted/Highly Restricted,11,丰富的SQL、更强的灵活性、更多的数据源,12,元数据: 延伸Oracle 外部表,CREATE TABLE movielog ( click VARCHAR2(4000)ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS (com.oracle.bigdata.tablename logscom.oracle.b

5、igdata.cluster mycluster ) REJECT LIMIT UNLIMITED;,新型态的外部表ORACLE_HIVE (使用 hive 元数据)ORACLE_HDFS (指定元数据)大数据参数获取Hadoop 集群远程 Hive 数据库/表DBMS_HADOOP Package 用于自动导入,13,智能外部表External Table,Oracle Table,HDFS Data,可定义:,可获得:,数据表名,自动发现Hive 表的元数据metadata定义,Oracle数据类型,自动将数据从Hadoop types转化成Oracle数据库类型,从任意的InputFor

6、mat自动转换,任意的查询并行度,在Hadoop cluster上并行执行,存储层,14,Big Data SQL: Hadoop 的另一个处理引擎,文件系统 (HDFS),NoSQL 数据库(Oracle NoSQL DB, Hbase),资源管理(YARN, cgroups),处理层,Big DataSQL,元数据存储,Hadoop上的智能扫描: 优化性能,Oracle Confidential Internal/Restricted/Highly Restricted,15,Data Node,Disk,Big Data SQL 服务,External Table Services,Sm

7、art Scan,“Oracle服务位于上层”应用谓词过滤列投影（列过滤）半结构化数据解析（XML、JSON）,“Hadoop服务位于底层”贴近数据进行处理工作使用Hadoop classes实现Schema On Read转换为Oracle数据格式,Big Data SQL 数据流,Disks,Data Node,Big Data SQL Agent,External Table Services,Smart Scan,RecordReader,SerDe,10110010,10110010,10110010,1,2,3,从HDFS数据节点读取数据直接路径读取尽可能使用基于C编写的reade

8、r否则使用Hadoop 原生的classes将数据翻译转换为Oracle数据格式对Oracle格式数据应用智能扫描Smart Scan谓词过滤列投影语法解析JSON/XML,Big Data SQL 位于任何数据的顶层,17,17,任何类型的文件,Hive 元数据,Big Data SQL 细胞解析,18,输出输入流,数据转换,Big Data SQL 细胞解析,19,智能扫描,转换成Oracle 文件快格式,Oracle Big Data SQL 存储索引,存储索引可以通过减少HDFS数据块的IO实现查询屠苏SQL查询中的列通过外部表定义映射到HDFS文件每个HDFS数据块中，所定义字段的最

9、小和最大值保存在存储索引中,20,HDFS,Field1,Field2,10011010104511091043100110451609104311455190912430130101045019092043,Field3, ,Fieldn,HDFSBlock1(256MB),HDFSBlock2(256MB),Confidential Oracle Internal/Restricted/Highly Restricted,21,谓词下推,Oracle 数据库将SQL查询语句的谓词条件发送到Hadoop层（包括绑定变量）用于数据过滤Parquet/ORC 文件格式的过滤Hive 分区修剪Hb

10、ase Subscan再通过智能扫描SmartScan过滤出满足条件的行,Big Data SQL 效能特征,22,减少IO的使用带来了综合性效能提升的效果,100 TB,使用者查询,Big Data SQL 安全特征,Hadoop 安全,ACLs | Sentry | HDFS 加密 | 动态加密,Big Data SQL 安全特征,相同的数据安全模块应用于更广泛的数据存储先进的特性如: 数据编辑,目前已经可以应用在不同数据源之间的结合Oracle 安全层建构在现有 Hadoop 功能之上,Hadoop 安全,ACLs | Sentry | HDFS 加密 | 动态加密,(Hive) 分区裁

11、剪在查询运行之前读取 Hive 目录跟裁剪分区12.2 利用Oracle 数据库元数据优化分区裁剪目的: 消除不必要的IO损耗存储索引维护元数据元素以标记文件块,减少不必要IO使用目的: 消除不必要的IO损耗智能扫描最终过滤以确保只有被请求的数据元素会被传送到Oracle数据库目的: 消除不必要的数据移动,Bloom Filtering (布隆过滤器)联接转换成布隆过滤器并下推到Hadoop 节点目的:连接优化和本地化谓词和 Column Projection 下推下推查询元素到文件如 Parquet 跟 ORC目的:减少优化文件格式所产生不必的IO消耗安全应用 Oracle 数据库安全策略到

12、非Oracle 数据存储上目的: 启动高效安全特性,25,Big Data SQL 主要特征,Oracle Big Data SQL能支持的平台,Version 3.0,Confidential Oracle Internal/Restricted/Highly Restricted,26,Big Data SQL 支持的平台,27,or,1、Big Data SQL运行在Oracle集成系统平台,Exadata运行Oracle 数据库 12.1.0.2以上版本，BDA运行 CDH 5.5以上版本智能扫描Smart Scan支持所有的数据通过Infiniband网络提供极致性能BDA是专门为海

13、量数据处理而优化的Hadoop部署方式,28,Big Data SQL,2、Big Data SQL运行在通用硬件平台12c+集成平台BDA,采用通用x86硬件运行Oracle 数据库 12.1.0.2以上版本，BDA运行 CDH 5.5以上版本利用Oracle SQL 进一步增强BDA Hadoop平台的能力BDA是专门为海量数据处理而优化的Hadoop部署方式,29,Big Data SQL,3、Big Data SQL运行在通用硬件平台,支持Linux 操作系统上的Oracle 数据库12c （ 12.1.0.2以上）+ Cloudera（CDH 5.5以上）或者Hortonworks（

14、HDP 2.3以上）的Hadoop利用Oracle SQL 增强Hadoop平台的能力激活Hadoop上长期保存的归档数据，缩短将数据转换为业务价值的时间,30,Big Data SQL,4、Big Data SQL 运行在Oracle公有云,Linux 操作系统上的Oracle 数据库12c + Cloudera Hadoop利用Oracle SQL 增强Hadoop平台的能力激活Hadoop上长期保存的归档数据，缩短将数据转换为业务价值的时间,31,Big Data SQLCloud Service,5、Big Data SQL运行在Oracle集成系统+通用硬件Hadoop*,Exadata运行Oracle 数据库 12.1.0.2以上版本， +配合Cloudera（CDH 5.5以上）或者Hortonworks（HDP 2.3以上）的Hadoop智能扫描Smart Scan支持Exadata的数据，利用Oracle SQL 增强Hadoop平台的能力激活Hadoop上长期保存的归档数据，缩短将数据转换为业务价值的时间,32,Big Data SQL,Coming Soon！,