《大数据时代下EMC云带来的变革.pdf》由会员分享，可在线阅读，更多相关《大数据时代下EMC云带来的变革.pdf（22页珍藏版）》请在三一文库上搜索。
1、1EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 许国志 EMC高级客户技术顾问 2EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 3EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 淘宝淘宝 阿里巴巴阿里巴巴 支付宝数据仓库支付宝数据仓库 业务使用使用 通过分析用户的网络点击日志，进行产品关联分析，让客户可 以快速的找到相近产品 原有解决方案及原有解决方案及问题 Oracle 加载速度非常慢，真的令人无法接受技术人员天天抱怨 做客户详细复杂的点击查询，要等上半天到一天，有时还出不 来结果，浪费我们大量的时间业务经理已经忍无可忍了 现在系统无法满足海量的历史数
2、据的分析应用 Greenplum是幕后的英雄是幕后的英雄 海量加载由Greenplum完成 汇集了Alibaba所有的历史数据 真是一个超真是一个超级的海量的海量数据数据库软件！件！ 客客户技技术部部门评价价 网站日志交易数据 详细数据 Greenplum 海量基础数据海量基础数据 大数据量查询大数据量查询 Oracle 加工数据 门户网站门户网站 高并发查询高并发查询 。 用户信息 4EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 软 件 定 义 企 业 软 件 定 义 存 储 软 件 定 义 数 据 中 心 独特的EMC联邦模式：同类最佳，水平建构，选择最为自由 ADVANCE
3、D SECURITY 重新认识重新认识EMC公司公司 5EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 云计算的通用定义与需求特点云计算的通用定义与需求特点 IaaS PaaS SaaS IT基础设施服务层（IaaS）提供以CPU处理 能力为单位的无限扩展能力； 可以根据系统、应用的繁忙程度动态分配资 源（处理能力、存储容量、网络带 宽。）； 平台服务层（PaaS）提供共享的IT处理功 能，如，身份认证、数据服务、信息整合 等。 应用系统可以根据需要动态的接入或调用 PaaS的公用处理能力； 软件服务层（SaaS）提供以信息处理结果 为目标的服务； 终端用户可以根据业务需求动态的提
4、出处 理要求，并得到处理结果； 终端用户可以直接使用SaaS提供的结果， 或将结果集成入自己的业务系统中，作为 整个业务处理系统的一个组成部分。 6EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 PaaS平台平台 Cloud Foundry Traditional IT Storage Servers Networking O/S Middleware Virtualization Data Applications Runtime You Manage O/S PaaS Storage Servers Networking Middleware Virtualization Da
5、ta Applications Runtime You Manage 由 平 台 管 理 业务敏捷性 和节省成本 O/S IaaS Storage Servers Networking Middleware Virtualization Data Applications Runtime You Manage 由 平 台 管 理 6 IaaS: 硬件的自动化管理，人与机器的解耦合获得效率/提高资源利用率 PaaS: 应用的自动化管理，应用与OS的解耦合获得弹性/简化运维 7EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 Cloud Foundry是一个开放的是一个开放的PaaS平台
6、平台 The PaaS of choice for the Cloud era 简单 开发者专注于他们的代码，不锁定于特定中间件 开放 避免锁定在特定的云、框架和服务上 从第一天起就是完全开放的 灵活性和可伸缩性 应用自服务、自动部署、自动伸缩S 可扩展的架构，可以吸收未来云创新的发展 8EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 2012年春节-12306难以登陆和难以订票的问题 高峰期间海量并发访问(类似秒杀现象) 高峰售票：800万张/天， 13,000-25,000张票/分钟 网上售票高峰：200万张/天，1,500-2,500张票/分钟 网上高峰点击： 14亿次/天，
7、 1万-3万次/秒 正常交易点击： 20次/票， 高峰交易点击：740次/票 23000售票点，1600自动售票机，电话订票：10万8千条线 网络带宽： 1.5G/秒 海量并发访问12306网站带来的问题 使用者无法登陆，或登陆后系统反应非常缓慢 提交订单后，系统反应慢或没有反应 吞钱不吐票 订票的余票查询 每十分钟更新一次，在售票高峰期余票数据没有 参考价值，信息更新慢，民众订不到票，导致民怨。 12306，铁道部互联网售票网站，铁道部互联网售票网站 9EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 资料汇总 Web & App Servers N 100 Web 服务器集群 应
8、用 服务器集群 数据库(x86) SQL 语句抽取 Rabbit MQ (x86)集群 读取变化 数据 Gemfire 服务器 (x86) 集群 5 . . . 28个分局 实时 数据流 原有IT 系统结构数据分流 云应用系统设计结构 实时数据 复制 Sybase Replication 实时数据复制 日志/存储过程复制技术 中央数据库 小型机 数据库小型机 N 5 数据库小型机 M 50 12306网上订票系统架构改造网上订票系统架构改造 原有系统只 做热备 Sybase 复制服务器 10EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 如何存储如何存储 文件 vs 对象 vs ?
9、 文件 自己停车 自己记住(希望能记住) 找回去的路径: 地下二楼 C段 135号 多活+ 跨中心=你可以在其他地方取到你的车 对象 代客停车 获取一个停车票 停车管理员在停车票填上(元数据): 特征 牌号 停车管理员可能换过你的车位，你不 知道。出示停车票，管理员把车开出 来给你 ? 车停在北京 获取一个停车票 停车管理员在停车票填上(元数 据): 编号 你的车被复制到多个地方， 你 坐火车南京，出示你的编号， 也能拿到你的车(尽管你不知道 北京的车库已经进雨水停用了 北京南京 11EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 Atmos 技术特征技术特征 3M 多数据中心(站
10、点) 多活Multi- Sites 统一目录空间/使用对象ID访 问跨站点数据 数据始终在线可用 一次写入，（多地）多个副本 多租户 Multi-Tenant - -多个部门的不同应用分别作 为不同的租户使用同一个存 储租户之间安全隔离数据互 不可见 - 高效统一管理 元数据驱动的策略Metadata 存多少份/存在哪里/存多久 例如 2 同步副本 邯郸/1 异步副本 枫林 子租户1 邮件 子租户2 文件 子租户3 网站 1 https:/ 站点1 站点2 应用 n 不中断的添加新应用， 用户和容量 站点n 12EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 大数据带来的挑战 大数
11、据的来源 大规模的虚拟化 信息化程度加深 大量需要存档的信息 等等 0 10 20 30 40 50 60 70 80 90 200920102011201220132014 File Based: 60.7% CAGR Block Based: 21.8% CAGR EXABYTES Source: IDC 截至2012年, 80%的存储空间都用于 文件数据 到2020年, 数据将增加50倍，IT人员将增 加1.5倍 13EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 EMC Isilon 高性能NAS 内部Infiniband 高速互联 Servers 工作站（Win/linu
12、x）标准以太网络层 Servers Servers EMCEMC高性能集群高性能集群NAS NAS - - IsilonIsilon整体架构整体架构 14EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 性能有革命性提升性能有革命性提升 传统NAS存储 高性能集群NAS存储 Faster. Slower. TRAIN STOPS! TRAIN KEEPS GOING! 15EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 AutoBalance 迁移数据 到新存储节点，同时系 统保持在线并继续提供 生产服务 无需人工干预，无需重 新配置, 无需服务器或客户端挂 载点更改或应
13、用更改 消除“热点” EMPTY EMPTY EMPTY EMPTY EMPTY FULL FULL FULL FULL BALANCED BALANCED BALANCED BALANCED BALANCED 性能有革命性提升性能有革命性提升 16EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 本地高可用 本地HA/备份与恢复 双中心高可用 应用程序无中断持续运行 （零停机） 逻辑可用性 双中心+逻辑恢复 信息基础架构的变革信息基础架构的变革 17EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 灾难恢复 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7
14、8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 18EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 业务连续可用性 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6
15、7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 19EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 逻辑灾难恢复 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7
16、 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 1 3 2 1 4 5 6 7 8 9 0 20EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 VPLEX 和 EMC RecoverPoint VPLEX 虚拟卷上的本地时间点 拷贝 高效备份 时间点保护和操作恢复 应用程序集成时间点保护 提供意外更改保护，实现零 RPO 对站点级灾难提供高可用
17、性； 对区域灾难提供恢复功能 可用于 VPLEX Local 和 VPLEX Metro 站点 1站点 2 站点 3 VPLEX WITNESS Federated AccessAnywhere 主动主动 拷贝 RecoverPoint S 用于用于 VPLEX 的的 RecoverPoint 拆分器拆分器 S 21EMC 保密资料保密资料 要求签署保密协议要求签署保密协议 为什么建立分布式数据中心？ 提高可用性 两个分布式中心都承担生产工作负载并且同时互相提供 恢复能力 提高资产利用率 被动分布式中心价格昂贵并且通常闲置资源 提高性能（局部访问数据） 数据不需要从“生产”站点读取，因为在两个站点上可以 读写访问同样的数据