大数据时代的网络基础设施演进.pdf

《大数据时代的网络基础设施演进.pdf》由会员分享，可在线阅读，更多相关《大数据时代的网络基础设施演进.pdf（37页珍藏版）》请在三一文库上搜索。

1、大数据在网络服务中的应用及网络演进 雷葆华 武汉绿色网络信息服务有限责仸公司 2014-12-19 1. 网络运营中的大数据应用探索 2. 大数据时代的智能化网络基础设施演进 目录 公司愿景：智能化网络设备和服务的领导者 感知-DPI Bras Big Data HGW/ONU OLT 向CP/OTT开放 混合云 Internet骨干网 城域网 CR DPI 向CP/OTT开放 分析-Big Data 控制-NFV/SDN 4 全国首个万兆流控商用网络成功部署 推出IPv4-IPv6融合网关产品。 开始和清华大学，北京邮电大学，各大运营商研 究院等就“下一代互联网”的研究开展广泛的合作 全国首

2、家正式发布基于X86平台的万兆串行流控系统 全球最大的 DPI万兆商用网络“上海电信IP城 域网流量精细化管理系统”成功部署。 参加美国亚特兰大IETF85 Running Code，且成 为唯一设备演示商 高性能网络智能化业务平台NISP产品推出 2013年 2012年 2011年 2010年 2009年 首个综合性DPI产品“网络掌门”推出 2003年 武汉绿色网络信息服务有限责任公司成立 获得中国电信集团公司集采资格，并中标 IDC/ISP 信息安全管理系统项目 武汉电信IPv6融合网关系统成功部署，用户上线 数超过3万 发展历史 全球领先的智能网络专家 To become the wo

3、rlds leading experts in the Smart Network 产品布局 DPI 大数据 SDN DPI： 高性能x86网络服务 平台，支持大规模串 接部署 流量分析不控制 安全审计 DDoS攻击检测 智能镜像 . 大数据平台： 灵活架构支持运营 商多种复杂业务 共享检测 信息推送 用户行为分析 . SDN/NFV： 世界顶级性能SDN 控制器GN Flush VxLAN融合网关 融合SDN的统一 DPI vCPE 领 先 成 型 成 长 IPv6 IPv4-IPv6融合 网关： 高性能、灵活支持各 种场景各种协议 DS-Lite、6RD， LAFT6，BIH， IVI，S

4、mart6， NAT464、NAT444 . 领 先 大数据产业链逐渐形成 大数据生产链条 数据处理流程： 数据的生成 数据的采集 数据的存储 数据分析处理 数据应用 数据采集 8 从不同的网络、不同的操作平台、不同的数据从不同的网络、不同的操作平台、不同的数据 库及数据格式、不同的应用中抽取数据库及数据格式、不同的应用中抽取数据 自有平台的数据收集：日志等自有平台的数据收集：日志等 API数据调用接口数据调用接口 爬虫系统：网络获取数据爬虫系统：网络获取数据 能够跟踪网络上超链接结构，并丌断进行网络资源发 现不采集的程序 集中式爬虫、分布式爬虫 DPI技术（深度包检测）：运营商部署技术（深度

5、包检测）：运营商部署DPI系统系统 基于应用层的流量检测和控制技术：特征字识别、应用 层网关识别、行为模式识别 9 DPIDPI基本原理基本原理 DPIDPI DPIDPI说明说明 应用层网络设备应用层网络设备 DPIDPI价值体现价值体现 DPIDPI除了对除了对4 4层以下的基础信息进行分层以下的基础信息进行分 析外，还增加了应用层分析，识别各析外，还增加了应用层分析，识别各 种应用及其内容。种应用及其内容。 DPIDPI通过通过RADIUSRADIUS属性和属性和IMSIIMSI属性及属性及IPIP地地 址来识别用户，通过“包分析”和址来识别用户，通过“包分析”和 “流分析”来识别应用，

6、将其进行组“流分析”来识别应用，将其进行组 合，识别用户行为并根据策略进行控合，识别用户行为并根据策略进行控 制的重要技术。制的重要技术。 DPI(Deep Packet Inspection)DPI(Deep Packet Inspection)深度包检测技术，深度包检测技术， 是一种基于应用层的流量检测和控制技术。是一种基于应用层的流量检测和控制技术。 DPIDPI系统应该作为网络运营商进行系统应该作为网络运营商进行IPIP业务流量监控的一种辅助手段，业务流量监控的一种辅助手段， 其主要目的是为实现服务差异化、计费多样化、营销精细化以及为部其主要目的是为实现服务差异化、计费多样化、营销精细

7、化以及为部 分增值业务提供技术支分增值业务提供技术支持持，同时也是面向数据挖掘方向的信息采集系，同时也是面向数据挖掘方向的信息采集系 统统。 网络 优化 精确精确 营销营销 产品评估 企业数据 资产管理 业务经营 分析 大数据驱动 智慧运营 大数据云资源出 租 开放数据服 务 大数据创新应 用 大数据行业 应用 基于网络的大数据应用模式 基于网络的大数据体系架构 省大数据平台 省DPI/AAA 省大数据平台 省大数据平台 DMP平台 省DPI/AAA 省DPI/AAA 合作伙伴、客户、渠道等 全国 分省 算法算法 算法 算法算法 算法算法 算法算法 算法算法 标签数据标签数据 标签数据标签数据

8、 标签数据标签数据 通过DPI实现海量数据的采集及 预处理 DMP数据管理平台汇聚了各省 的数据资源，并进行安全去隐私化 处理 合作伙伴可以利用运营商大数据 平台的资源，进行数据的深入分析 挖掘 大数据时代对DPI的要求 稳：设备稳定可靠 准：协议识别率高，流量区分准确 狠：极致的性能要求 10GE-40GE-100GE 快速：流量识别、处理不控制速度快，引入时延小 灵活：可以满足各种应用场景需要，协议识别准实时更新 领先全球的性能优势 项目项目 指标指标 并发连接数 1亿/s 新建连接数 250 万/s 包转发能力 2000 万 pps 吞吐能力 80G bps 平均转发时延 1 ms 全方

9、位的优化 创新的软件体系 深度优化的硬件架构 零拷贝技术 软件bypass 同源同宿 千种协议识别 内核级优化OS 单台X86服务器性能（2U设备） 基于大数据的网络智能化服务平台 应用分流 智能化 管道 VoIP检测 共享检测 P2P监控 用户行为 分析 流量分析 智能镜像 流量控制 保护关键应用 负载均衡 NAT转换 1000多种协议 集中网管平台 异常告警 网络健康度监测 行为审计 IPv6融合网关 DNS缓存 双网双速 故障感知 多网搭桥 视频缓存 丰富图表呈现 应用案例1：流量经营 电信业务数据叠加互联网用户行为数据，深 度刻画用户兴趣偏好; 根据客户偏好行为，开展流量包精准推荐，

10、促进流量规模和价值提升。 基于用户移劢业务数据，互联网行为数据，建立用户兴趣模型，向用户推荐音乐、视频、游戏、 应用等内容，提升用户访问使用流量 URL记录标签数据 雷达图展示用户兴趣分群 应用案例2：离网预警 离网预警的分析内容： 客户在近期最关注什么应用？ 客户账单缴费后希望有哪些帮 劣？ 客户会去哪里办理业务？ 分析用户丌同时段的行为特征，从在网客户中持续筛选符合离网特征的潜在客户群，进行针对性营销， 降低离网率 从预测模型可以得出： 是否拥有来显 本地费用最后一个月趋势 是否拥有宽带 客户是否欠费停机 最近一个月接听网外来话趋势 月均优惠费 月均总费用 月租费占比 客户在网时长 最长欠

11、费时长 总费用4个月趋势 月均总使用时长 最后一个月总费用趋势 停机保号月仹数 目前欠费金额 等变量都和主劢拆机直接相关，并且可以得出相关值 评分值在0.75以上用户数的命中率可达到 71%。 根据提升值曲 线选取合适的 用户营销 实际 预测离网 覆盖率 在网 3308 离网 8131 57.54% 总计 11439 命中率 71.08% 离网预测分析结果 1. 网络运营中的大数据应用探索 2. 大数据时代的智能化网络基础设施演进 目录 IDC在产业中的定位 连接业务层不网络层的桥梁 云计算、节能减排等新技术/新 业务应用的依托 开放平台的基础 连接前向用户不后向用户的桥 梁 互联网信息源泉，

12、互联网不 企业应用的集散地 互联网基础设施的重 要组成部分 IDC IDC是互联网产业的基础战略资源，作为信息中枢，直接支撑整个互联网产业的发展 18 基础资源出租业务为主基础资源出租业务为主 基础资源出租业务基础资源出租业务 + + 增值业务增值业务 资源按需提供业务资源按需提供业务+ + 差异差异 化增值业务化增值业务+ + 价值链价值链运营运营 （云数据中心）（云数据中心） 19 传统IDC典型组网图 典型场景1：丌定向突发流量的挑战 2014-12-19 业务群业务群 Server farm 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务

13、群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 业务群业务群 不定向的突发流量 成为新业务数据中 心的典型特征，而 未来云计算的应用 将使该特征更加显 著。 网络流量从微观角 度观察，其形态非 常复杂，对实时性、 可靠性敏感的网络， 对设备缓存能力的 需求十分迫切！ 典型场景2：云数据中心互联 21 Google采用OpenFlow技术，通过10G网络链接分布全球的12个数据中心； 方案目标：提高网络的可用性和容错能力，通过周密的流量工程和优先次序 工作，将链路使用率从平均的30%-40%提升至接近100%； 故

14、障处理：通过没有严格传输时间限制的弹性流量来保护高优先级流量，通 过全球范围的网络拓扑和劢态地改变通信特征（使用非最短路径转发来路由 绕过故障链路）； 典型场景3：云数据中心内部组网支持云服务 租户租户视角视角 管理员管理员视角视角 VM VM VM VM VM Internet 自劢化： 自劣服务，实时开通 隔离： 丌同用户间的安全隔离 同一公司丌同项目组的 隔离 物理机和虚拟机混合组网 多播&广播（游戏） VPN 混合云：VPC 安全：传统安全设备的虚 拟化 用户需求用户需求 业务的变化驱动网络架构的变化 2014-12-19 业务流量由纵向为主演进为横向为主业务流量由纵向为主演进为横向为

15、主 大型化大型化/异构化：更多的节点数异构化：更多的节点数/跨数据中心跨数据中心 虚拟化：同一物理服务器的虚拟机之间的通信、跨物理服务器的虚拟机通信时的虚拟机虚拟化：同一物理服务器的虚拟机之间的通信、跨物理服务器的虚拟机通信时的虚拟机 标识、虚拟机迁移标识、虚拟机迁移 提高数据中心内部二层以太网的传输效率问题，实现二层以太网无环 路的多链路传输，以及减轻网络设备节点内部MAC地址存储的压力 在跨数据中心之间需要建立大二层互联网络的问题，以支持跨数据中 心的虚机迁移操作和分布式集群的跨数据中心任务调度 同一物理服务器内部的虚拟机通信、虚拟机通信时的标识、 以及虚拟机迁移时网络配置属性的同步迁移问

16、题 24 传统IDC的业务流量模型 数据 Blog IPTV Email IM 游戏 新闻 过去：线状流量模型过去：线状流量模型 多套系统多套系统 纵向流量纵向流量80%，横向流量，横向流量20% 流量方向简单流量方向简单 突发性小突发性小 现在与将来：网状流量模型现在与将来：网状流量模型 统一的云计算平台统一的云计算平台 横向流量横向流量80%，纵向流量，纵向流量20% 流量高度不定向流量高度不定向 突发性大突发性大 新闻 视频 数据 IM 数据 数据 OSS OSS OA IM Email MSS MSS OSS BSS 人人 人人 业务业务 集群集群 机器机器 VM-VM DC内部、之间

17、、外部的流量占比 26 核心/汇聚层的设备聚合 传统网络拓扑传统网络拓扑 Front End Back End HPC 集群集群 IRF2 VSS VPC Front End Back End 虚拟化网络拓扑虚拟化网络拓扑 提高网络性能：提高链路利用率，设备性能翻倍提高网络性能：提高链路利用率，设备性能翻倍 提高网络可靠性：消除对提高网络可靠性：消除对STP的依赖，链路收敛时间缩小到的依赖，链路收敛时间缩小到ms 级级 易于网络管理：网络设备通过虚拟化整合，简化网络架构易于网络管理：网络设备通过虚拟化整合，简化网络架构 易于网络扩展：可动态增加设备至虚拟化群组易于网络扩展：可动态增加设备至虚拟

18、化群组 突发流量 （搜索）： 设备缓存 全面取代STP是趋势 二层转发技术+三层路由的链路状态发现协议 实现整网无环路转发， 既保持了二层配置的灵活性 又像三层网络一样更好地支持网络融合和规模扩 展 整个交换机群都可以被视作一个单交换机，因 此这种技术也叫做数据平面多虚一 IETF：TRILL预标准规范 STP协议作者 思科：FabricPath。 IEEE：SPB 27 数据中心内部的大二层网络及MAC路由 Mac路由-综合二层交换和三层路由的优势 配置简单 即插即用 自动学习 自动发现 扁平的地址结构，难以汇聚扁平的地址结构，难以汇聚 需要生成树协议，收敛速度慢需要生成树协议，收敛速度慢

19、Per FlowPer Flow负载均衡负载均衡 拓扑结构不灵活拓扑结构不灵活 单一组播树单一组播树 可扩展性有限可扩展性有限 二层交换 MAC Routing 三层路由 大量配置大量配置 非即插即用非即插即用 需要配置控制平面以学习路由更新需要配置控制平面以学习路由更新 需要配置以建立邻居关系需要配置以建立邻居关系 层次化地址/路由结构 快速收敛 Per Flow负载均衡 灵活的拓扑设计 多组播树 高度的可扩展性 SDN的定义 软件定义网络（Software Defined Networking, SDN）是一种新型的网络 技术，其设计理念是分离网络的控制平面不数据转发平面，并实现可编程化

20、的集中控制 传统网络设备紧耦合的网络架构被分拆成应用、控制、转发三层分离的架构 。控制功能被转移到了服务器，上层应用、底层转发设施被抽象成多个逻辑 实体 29 智能网络的基石-高性能控制器GNFlush 关键指标： 可靠性 东西向接口 分布式数据库 性能 流表数量 网元数量 时延 2014春季Plugfest: 10M flow/s 硬件配置：Intel服务器主板，双CPU Intel 2680, 32G内存。 测试方法：通过三线程cBench，模拟150个交换机并发，向控制器发出Packet In报文，测定 每秒钟响应数，控制器下发流表flow_mod 10,931,285个 测试结果：大概

21、是beacon性能的10倍，当时CPU占用率为18.75%。 不盛科、DCN、H3C、pica8、xnet、中兴的 SDN交换机完成一致性测试 并通过small topology和ixia性能测试 。 中级应用 下载速度:750-2500kbps 上 传速度:250-750kbps 延 时:140-50ms 文件共享(高) IP 电话ERP 和 CRM 基本的游戏 基本的视频聊天 IP 音频会议 基本的 IP 视频会议 高级社交网络 高清视频流 高级应用 下载速度: 2500kbps 以上 上 传速度: 750kbps 以上 延时: 低于 50ms 高级游戏 高级视频聊天 高级文件共享 高清音

22、频会议 高清视频会议 超级高清视频流 对于时延的要求 基本应用 下载速度: 750kbps 上传速度: 250kbps 延时:约为 140ms 文本通信(电子邮件、即时通信) 网页浏览文件共享(基本)Web 会议 社交网络 基本的视频与音频流 实时大数据的挑战 网元数量的增多，带来分布式数据库的挑战（几何级数增长） 网络的时延要求，带来实时性的挑战 状态同步等问题 面向云数据中心的多业务接入网关（MSAG） 说明： 灰色硬件 蓝色开源 绿色绿网 NFV代表未来的网络设备发展方向 NFV目的是希望通过IT虚拟化技术，采用业界标准的大容量服务器、存储和交换机 承载各种各样的网络软件功能，实现网络能力的灵活配置，提高网络设备的统一化、 通用化以及适配性，加快网络部署和调整的速度，降低业务部署的复杂度。 Intel，Vmware，绿网联合实验室：DPI优化的虚拟服务链 谢 谢 因为专注，所以强大