大数据技术及制造业应用.pdf

《大数据技术及制造业应用.pdf》由会员分享，可在线阅读，更多相关《大数据技术及制造业应用.pdf（47页珍藏版）》请在三一文库上搜索。

1、Copyright 2014Oracle and/or its affiliates. All rights reserved. | 大数据技术及制造业应用 主要内容主要内容 大数据概述大数据概述 大数据在制造业的应用 大数据架构实践 1 2 3 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted2 社交媒体社交媒体 Twitter 12TB/天 Copyright 2014Oracle and/o

2、r its affiliates. All rights reserved. |3 制造业制造业 波音737引擎每30分钟飞 行产生10TB数据 Facebook 2亿张图/天 交通交通 枢纽机场每天生成几十 TB乘客数据 健康与生命科学健康与生命科学 流行病早期预警 ICU监控 安全监控安全监控 行政管理行政管理 多模式监控 Global Pulse建立了 安全检测 每日价格指数 发现通货膨胀的苗头 电信电信 通话详单记录CDRs 每秒7.5次呼叫 近3万亿行数据 零售零售 Target采集分析用户零售信息 智能化推荐产品 金融服务金融服务 欺诈检测 360度客户视图 能源能源 基于对气象大

3、数据的分析 进行风力发展布局选址 大数据时代的背景大数据时代的背景 人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断 加快，利用数据的方式也推陈出新。 人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断 加快，利用数据的方式也推陈出新。“大数据大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段。实质上是人类利用数字认识和改造世界所达到的一个新的阶段。 各行各业每时每刻都在生成海量数据 基于大数据的应用正改变着我们的工作和生活 Copyright 2014Oracle and/or

4、its affiliates. All rights reserved. | 什么是大数据？什么是大数据？ 4 数据量大数据量大Volume 数据体量大：对计算和 存储的要求，从TB级跃 升到PB级 速度快速度快 Velocity 生成速度快：实时性， 必须快速识别和快速响 应才能适应业务需求 多结构化多结构化 Variety 来源多：企业内部、互 联网、物联网等 格式多：包括结构化数 据，音频、图片等非结 构化数据 高价值高价值 Value 浪里淘沙却又弥足珍贵， 虽然价值密度较低，但 是价值点比较高 统计表明，人类文明至今获得的全部数据，90%在过去2年内产生，标志着数字化时代全面来临。

5、而电子商务、社交网络、传感器等还在源源不断的产生数据，预计到2020年，全球数据规模将会 达到今天的44倍。 大数据时代带来的三个理念转变大数据时代带来的三个理念转变 1、样本=总体 在大数据时代，可以分析更多的 数据，甚至可以处理和某个特别 现象相关的所有数据，而不再依 赖于随机采样。 19 世纪以来，当面临大量数据 时，都依赖于采样分析。但是采 样分析是信息缺乏和信息流通受 限制的模拟数据时代的产物。 高性能数字技术的发展突破了这 种限制。与局限在小数据范围相 比，使用一切数据为我们带来了 更高的精确性，也让我们看到了 一些以前无法发现的细节大 数据让我们更清楚地看到了样本 无法揭示的细节

6、信息。 2、容忍混杂性 研究数据如此之多，以至于我 们不再执着于追求精确度。 传统数据处理追求“精确度”， 这种思维方式适用于掌握“小数 据量”的情况，因为需要分析的 数据很少，所以我们必须尽可能 精准地量化我们的记录。 大数据纷繁多样，优劣掺杂，分 布广泛。拥有了大数据， 我们 不再需要对一个现象刨根究底， 只要掌握大体的发展方向即可, 适当忽略微观层面上的精确度会 让我们在宏观层面拥有更好的洞 察力。 3、因果到相关 不再热衷于寻找因果关系， 而是转而寻找事物之间的相 关关系。 寻找因果关系是人类长久以 来的习惯。即使确定因果关 系很困难而且用途不大，人 类还是习惯性地寻找缘由。 在大数据

7、时代，我们无须再紧盯 事物之间的因果关系，不再把分 析建立在早已设立的假设的基础 之上。而应该寻找事物之间的相 关关系，让大数据告诉我们“是 什么”而不是“为什么”。 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted5 大数据对行业的影响大数据对行业的影响 中信银行利用互联网地理数据，提升广 告精准度，实现与第三方的双赢 阿里小微金融基于电商平台数据，打造 信用体系，实现互联网金融创新 Copyr

8、ight 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted6 大数据对公众的影响大数据对公众的影响 Google公司利用用户的搜索关键字，进 行流感和登革热的传播预测。 淘宝利用电子商务平台上的搜索和购买 行为，进行产品分析和市场细分。 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Inte

9、rnal/Restricted/Highly Restricted7 大数据带来了思维的创新大数据带来了思维的创新 决策思维决策思维 更加重视各类事物的关 联关系，不仅仅局限于 因果关系 更加重视快速预测，立 即采取行动而不是等一 个精确的结论 管理思维管理思维 数据使流程更加透明， 有助于推动管理的扁平 化，提升管理效率 数据使视野更为全局， 有助于合理调配企业资 源，提升管理效益 商业思维商业思维 数据可以是一种产品， 满足客户的信息消费需 求，换取商业利润 数据可以是一种服务， 以数据能力汇聚商业资 源，形成竞争优势 Copyright 2014Oracle and/or its aff

10、iliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted8 大数据的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产 方式，进而释放了生产力。方式，进而释放了生产力。 大数据带来了技术的创新大数据带来了技术的创新 GIS地图、轨迹图、热力 图、标签云图、辐射图 Hadoop分布式计算平台、 SQL-on-Hadoop、 STREAM实时计算 社会网络、自然语言处理、

11、时序分析、逻辑回归 网页埋点、网络爬虫、传 感器技术 9Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted 信息 展现 处理 架构 分析 算法 数据 获取 主要内容主要内容 大数据概述 大数据在制造业的应用大数据在制造业的应用 大数据架构实践 1 2 3 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle

12、 Confidential Internal/Restricted/Highly Restricted10 Copyright 2014Oracle and/or its affiliates. All rights reserved. |11 条形码 RFID 无线 传感器 工业自动控制系统 二维码 工业物联网 ERP/MES CAD/CAM/CAE/CAI 制造业大数据：制造业存储了超过其他工业部门的数据制造业大数据：制造业存储了超过其他工业部门的数据 从2010年以来新产品数据达到接近2EB Copyright 2014Oracle and/or its affiliates. All

13、rights reserved. | 工业工业4.0 多品种小批量智能产品的高精度卓越品质生产是 未来像德国一样成功经济的发展趋势 80%制造创新基于信息通信技术，通过信息通信 技术实现了智慧工厂、绿色和城市生产 第四次工业革命将基于信息物理系统、物联网和 互联服务，它将产生大量的大数据流，这些大数 第四次工业革命将基于信息物理系统、物联网和 互联服务，它将产生大量的大数据流，这些大数 据能够被搜集和分析用于指导高效高品质生产据能够被搜集和分析用于指导高效高品质生产 基于信息物理系统的工业辅助系统能够支持、帮 助和培训智慧工厂的下一代工人 多通道增强现实系统能够允许个性化的工作流程 和快速学习

14、新产品工艺 12 Copyright 2014Oracle and/or its affiliates. All rights reserved. | 工业互联网工业互联网 美国在2012年2月份提出了先进制造伙伴计划， 之后由GE提出了工业互联网的概念，投资10 亿美元来提高效率。比如在提高效率方面，如 果航空燃料的效率提高1%，就意味着在15年 内节省300亿美元。GE在企业内部已经进行了 实践，GE的氯化镍工厂部署了1万多个传感器， 分布在生产线的不同环节，通过实时数据的采 集、传输和集中处理、反馈，通过结果调配不 同资源，及时跟踪设备信息，降低故障率，提 高效率。正是在这样的实践基础上

15、提出了工业 互联网的概念。目前GE已经推出了24种工业 互联网解决方案，包括石油、天然气平台的监 控、机车、医疗等各方面。 13 Copyright 2014Oracle and/or its affiliates. All rights reserved. | 大数据可以在制造业各个方面创造价值大数据可以在制造业各个方面创造价值 产品创新产品创新 数据驱动决策 可视化决策 数据情报分析 工业物联网工业物联网 设备诊断 用电量分析 能耗分析 质量事故分析 产品故障诊断与 预测 产品故障诊断与 预测 故障实时诊断 大数据应用、建模 与仿真技术 工业供应链的分 析与优化 工业供应链的分 析与优化

16、分析和预测商品需 求量 提高配送和仓储的 效能 14 主要内容主要内容 大数据概述 大数据在制造业的应用 大数据架构实践大数据架构实践 1 2 3 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted15 大数据的技术挑战大数据的技术挑战 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confiden

17、tial Internal/Restricted/Highly Restricted16 海量数据成本 复杂的业务需求 新技术，新方法新技术，新方法 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal17 大数据大数据=非结构化数据非结构化数据+结构化数据结构化数据+半结构化数据半结构化数据 “有许多关于大数据的共识需要被质疑，最开始你认为 Hadoop就是大数据，但是问题是Hadoop只是一种技术，而 大数据不只是技术。大数据关乎业务需求，实际上大数据应

18、 该包括 大数据关乎业务需求，实际上大数据应 该包括Hadoop和关系型和关系型数据库数据库以及其他适用的技术。以及其他适用的技术。” Ken Rudin, Head of Analytics, Facebook Big Data = Hadoop + Relational + NoSQL HDFS 优点缺点 大文件低延迟 一次写入大量小文件 多次读取多个写入器 文件更新 Copyright 2014Oracle and/or its affiliates. All rights reserved. |18 大数据关键技术分析（大数据关键技术分析（1）：）：Hadoop 1.0 HDFS+Ma

19、p/Reduce适合适合“分而治之分而治之”的处理模式的处理模式 MapReduce任务以全量、离线、简单为主 1. 并行预处理并行预处理（如各种日志文件的清洗、去噪、合并等，后集成进入DW） 2. 简单的统计分析与数据挖掘简单的统计分析与数据挖掘（用户访问行为摘要生成、流量统计汇 总、简单客户分类与行为分析等） 3. 非结构化数据的处理与分析非结构化数据的处理与分析（如爬虫网页的分析处理、音频、批量 文档等处理） 不适合场景： 1、低时间延迟数据访问的应用。例如几十毫秒范围，原因：hdfs是为高数据吞吐量 应用优化的，这样就造成可能会以高时间延迟为代价 2、大量小文件 原因 ： nameno

20、de将文件系统的元数据存储在内存中，因此文件系统 所能存储的文件总数受限于namecode内存容量。根据经验，每个文件，目录和数据 块的存储信息大约占150字节，如果一百万个文件，且每个文件占一个数据块，那至 少需要300MB的内存，但是如果存储十亿个文件，那么需要的内存将是非常大的 3、多用户写入，任意修改文件：现在hdfs文件可能只有一个writer,而且写操作总是写 在文件的末尾 大数据关键技术分析（大数据关键技术分析（2）：）：SQL-on-Hadoop Copyright 2014Oracle and/or its affiliates. All rights reserved. |

21、 Oracle Confidential Internal/Restricted/Highly Restricted19 Hadoop 1.0 主要缺陷主要缺陷 Hadoop 1.0只支持 M/R批量模式，延时大 Map/Reduce计算模式 开发困难 SQL-on-Hadoop 主要分类主要分类 SQL命令翻译成M/R任务在 Hadoop集群执行（Hive） 专有SQL引擎，直接处理 HDFS的数据（Impala） Hadoop与RDBMS混搭数 据库（HadoopDB） Copyright 2014Oracle and/or its affiliates. All rights reser

22、ved. | Oracle Confidential Internal/Restricted/Highly Restricted20 大数据关键技术分析（大数据关键技术分析（2）：）：SQL-on-Hadoop SQL-on-Hadoop不能代替数据仓库不能代替数据仓库 SQL-on-Hadoop主要优点主要优点 开发简单，支持类SQL 支持实时查询 SQL-on-Hadoop 主要局限主要局限 依托HDFS数据存储，不具备数据库的基本 特征（例如索引、分区等） 开源SQL-on-Hadoop支持有限SQL命令， 无法实现复杂的查询和分析功能 开源SQL-on-Hadoop支持SQL标准不统一

23、， 很难与第三方数据集成/分析工具集成 SQL翻译成M/R效率低（Hive） CouchDBMongoDBRedisHBaseCassandraOracleNoSQL 是否开源开源开源开源开源开源社区/商业 类型文档型文档型键值对列式键值对键值对 编写语言ErlangC+C/C+JavaJavaJava 结构P2P主/辅主/辅主/辅P2P主/辅 一致性不保证不保证不保证不保证不保证可配置的事务一 致性 特点读比写快磁盘空间占用大内存占用太高读写均衡写比读快高速读写，高事 务要求 适用场景 主要适用于积累性 的、并且较少改变 数据的应用 适用于动态查询 主要适用数据集 数据时常变化的 应用 适用

24、于对读写性 能要求不是太高 的场合 适用于写入多于 查询的场合 企业级商用 NoSQL CAPAPCPCPCPAPCP和AP Copyright 2014Oracle and/or its affiliates. All rights reserved. | 大数据关键技术分析（大数据关键技术分析（3）：）：NoSQL 21 Copyright 2014Oracle and/or its affiliates. All rights reserved. | 大数据关键技术分析（大数据关键技术分析（4）：混合架构数据库）：混合架构数据库 22 超高速并发网络层 880Gb/s/机架 智能存储层(

25、Shared Nothing) 存储资源池 提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处; 既可以满足 OLTP的高并发、高可用特点；又可以满足OLAP的大数据量处理要求； 具备良好的普适性架构:Shared Nothing and Shared Disk 数据库处理层(Shared Disk) 数据库资源池 InfiniBand 交换网络 . 存储节点 SunFire 存储节点 SunFire 存储节点 SunFire Copyright 2014Oracle and/or its affiliates. All rights reserved. |23 5 4 3

26、2 1 0 强约束性 ACID事务 数据安全 数据格式多样化 数据稀疏性 数据存储经济性 ETL简化 直通处理 (STP) 吸收率 Hadoop RDBMS Hadoop 在某些方面具有优势 关系型数据库在另一些方面具有优势 SQL 语言十分重要 各种大数据处理技术存在能力互补各种大数据处理技术存在能力互补 取长补短，优势互补取长补短，优势互补 工具成熟度 优势优势劣势劣势 关系型数据库高效处理结构化、复杂关系数据 关联能力强，满足数据挖掘需求 延迟小，满足数据查询需求 处理非结构化数据能力弱 Hadoop高效处理非结构化数据关联能力弱，无复杂分析处理数据能力 M/R开发困难，延迟大 Copy

27、right 2014Oracle and/or its affiliates. All rights reserved. |24 各种大数据处理技术存在能力互补各种大数据处理技术存在能力互补 按照大数据处理技术能力互补原则，兼顾高效与低成本，结合当前技术发展状态，采用多技术混搭方 式实现大数据平台 按照大数据处理技术能力互补原则，兼顾高效与低成本，结合当前技术发展状态，采用多技术混搭方 式实现大数据平台 Copyright 2014Oracle and/or its affiliates. All rights reserved. | 安全性和高可用 Relational 运行业务 水平扩展和

28、垂直扩展 收集任何数据 SQL 企业事务和分析应用 25 Hadoop 改变业务 水平扩展，低成本存储 收集任何数据 Map-reduce, SQL 分析应用 NoSQL 扩展业务 水平扩展，低成本存储 收集键值对数据 通过键值查询数据 网络应用 通过技术创新驱动业务价值通过技术创新驱动业务价值 “因地制宜因地制宜” “统合综效统合综效” 大数据应用数据源大数据管理业务分析 z 企业级大数据能力模型企业级大数据能力模型 行业应用与专题应用 探索 数据水库 业务分析 数据仓库 Copyright 2014Oracle and/or its affiliates. All rights reser

29、ved. | 数据源 Oracle Industry In-Memory, Multi-tenant Oracle Industry Models Oracle Spatial return a.equals(b); private boolean gt(String a, String b) if (a.isEmpty() | b.isEmpty() return false; return Double.parseDouble(a) Double.parseDouble(b); private boolean lt(String a, String b) if (a.isEmpty() |

30、 b.isEmpty() return false; return Double.parseDouble(a) Double.parseDouble(b); public String getState() return this.state; BagFactory bagFactory = BagFactory.getInstance(); if (!(o instanceof DataBag) int errCode = 2114; SELECT first_x, last_z FROM ticker MATCH_RECOGNIZE ( PARTITION BY name ORDER BY

31、 time MEASURES FIRST(x.time) AS first_x, LAST(z.time)AS last_z ONE ROW PER MATCH PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price PREV(price), W AS (price PREV(price)AND z.time - FIRST(x.time) txadp_hive_01, object_name = customer_address_ext, column_name = ca_street_name, JSON policy_name = customer_addres

32、s_redaction, function_type = DBMS_REDACT.RANDOM, expression = SYS_CONTEXT( SYS_SESSION_ROLES, REDACTION_TESTER) =TRUE ); JSON 多结构化数据 in Hadoop 结构化数据 in Oracle Hadoop中数据的安全管控 数据脱敏 虚拟私有库 细粒度访问控制 Copyright 2014Oracle and/or its affiliates. All rights reserved. |42 OracleHadoop SQL通用数据访问接口通用数据访问接口 无论数据在

33、哪里无论数据在哪里 SQL NoSQL Andmore Oracle Big Data SQL与开源与开源SQL-on-Hadoop的对比的对比 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle Confidential Internal/Restricted/Highly Restricted43 Oracle SQL 丰富的分析功能 SQL2011标准（超集） 智能优化器 Hadoop、NoSQL和Oracle数据库 统一访问 跨所有数据（Hadoop、NoSQL、 Oracle）的查询与关联

34、访问 经过验证的经过验证的成熟技术 有限的SQL SQL 92子集 有限的功能 关联、用户定义功能 只作用于Hadoop 未经验证的未经验证的技术 Copyright 2014Oracle and/or its affiliates. All rights reserved. |44 大数据管理系统 高级查询与分析 全功能的SQL支持和高级分析 适用于所有数据 关系型数据，Hadoop和NoSQL 安全 统一的数据治理 最快的性能 利用SQL进行跨平台处理 对应用程序透明 不需更改应用程序代码 Copyright 2014Oracle and/or its affiliates. All rights reserved. | Oracle的价值定位的价值定位 为大数据提供：为大数据提供： 数据探索与预测，数据探索与预测， 快速简单快速简单访问， 数据管控与数据 访问， 数据管控与数据安全安全的能力的能力 Copyright 2014Oracle and/or its affiliates. All rights reserved. |46