阿里CDN从自建到服务.pdf

《阿里CDN从自建到服务.pdf》由会员分享，可在线阅读，更多相关《阿里CDN从自建到服务.pdf（31页珍藏版）》请在三一文库上搜索。

1、 阿里CDN从自建到服务 章文嵩（正明） 2014亚太全媒体CDN峰会 2014.3.18 1 自我介绍 章文嵩（正明） 博士 阿里高级研究员、核 心系统负责人 LVS开源项目的创始 人与主要作者 曾为TelTel的首席科学 家与联合创始人，国 防科技大学副教授、 ChinaCluster的联合 创始人、Red Hat Kernel Developer 或在来往中搜索wensongzhang加我 议程 3 一、双11购物狂欢节 二、阿里CDN基础设施 三、阿里CDN的演进 四、阿里云CDN服务 五、小结 双11购物狂欢节 2013年11月11日 5 那些瞬间 6 那些瞬间 7 那些瞬间 8 全

2、天订单产生量：1.67亿，包裹量：1.52亿个 第一分钟涌入1370万独立的访客 CDN监控系统瞬间 9 议程 10 一、双11购物狂欢节 二、阿里CDN基础设施 三、阿里CDN的演进 四、阿里云CDN服务 五、小结 世界上最大的图片CDN 国内230多个节点， 海外10个 5100Gbps服务能 力储备 单机柜40Gbps以 上服务能力，每 台服务器提供 5Gbps以上能力 单节点可处理20 多万QPS 100万级别DNS调 度并发处理能力 高性能缓存系统 基于多线程事件驱动的架构，TCOSS存储引擎，高效 的对象索引，完美Hash解析HTTP header，Trie树优 化ACL匹配，等等

3、 在测试机（2 x Xeon E5-2680 ）上可跑超过1000K qps 在内存命中情况下，rt（服务器）在0.1ms左右 在全SSD情况下，rt在0.5ms左右；SSD+SATA混合存 储情况下，swift TCOSS文件系统的热点迁移可以保 证87.5%的读都落在SSD，rt在2ms左右 miss回源同样不需要线程间切换，连接池省去建连接 和慢启动的过程，7层健康检测实时更新源站的状态 12 智能全局调度系统 cn#1 cn#2 1 2 4 3 ldns#1 ldns#2 终端用户终端用户 CDN节点节点 本地本地DNS 日志数据日志数据 离线离线 节点状态节点状态 信息采集信息采集

4、节点信息采集 ldns-ip数数 据采集据采集 用户时延用户时延 数据采集数据采集 前端信息采集 系统监控单元系统监控单元 流量计算单元流量计算单元 调度执行单元调度执行单元 pharos 流量表流量表 Portal 系统监控与运维界面系统监控与运维界面 关联度计算关联度计算 关联表关联表 调度算法调度算法 调 度 决 策 单 元 智能调度系统关键特性 支持多维度的全局流量调度模型（成本、用户体 验、带宽） 支持自动化调度，调度误差15%，最小粒度 5Mbps流量 有丰富的API接口，兼容GTM的功能 支持多级调度策略 支持edns-client-subnet 支持4/7层健康检测 单机百万Q

5、PS 14 议程 15 一、双11购物狂欢节 二、阿里CDN基础设施 三、阿里CDN的演进 四、阿里云CDN服务 五、小结 淘宝CDN系统的研发 主要解决过去的问题 商用产品的性能瓶颈、功能欠缺，以及不稳定性 整个系统的规模、性能、可用性和可管理性 开发完全自主的CDN系统 CDN节点的新架构和优化 CDN监控平台 全局流量调度系统支持基于节点负载状态调度和基于 链路状态调度 CDN实时图片删除 CDN访问日志过滤系统 配置管理平台 16 CDN节点的架构对比-老架构 17 NetScaler(7LB) squid 源站 squid squid squid NetScaler(7LB) cli

6、ent 频道 频道1 频道2 频道n VIP1 VIP2 CDN节点的架构对比-新架构 18 LVS(L4) Haproxy(L7) squid 源站 squid squid squid haproxy(L7) Haproxy(L7) LVS (L4) client 所有频道统一调度 VIP1 VIP2 心跳 CDN节点的架构对比 对比项对比项 节点节点 新架构新架构 老架构老架构 流量分布均匀性 可维护性 抗攻击能力 自主控制能力 价格 扩展能力 灵活性 流量分布均匀性：所有的频道统一调度到128台squid，而不是将squid按频 道分组，可提高命中率2%以上 扩展能力：在一个VIP上新架

7、构可以扩展到近100G的流量（当然要用万兆 网卡） 灵活性：一致性Hash调度方法使得增加和删除服务器非常方便，只有 1/(n+1)的对象需要迁移 Squid改进和优化 在COSS存储系统基础上实现了TCOSS，FIFO加上按一 定比例保留热点对象，支持1T大小的文件 Squid内存优化，一台Squid服务器若有一千万对象， 大约节省1250M内存，更多的内存可以用作memory cache 用sendfile来发送缓存在硬盘上的对象，加上page cache，充分利用操作系统的特性 针对SSD硬盘，可以采用DIRECT_IO方式访问，将内存 省给SAS/SATA硬盘做page cache I

8、O优化到平均一个请求需要做约0.9个IO操作 在Squid服务器上使用SSD+SAS+SATA混合存储，实现 了类似GDSF算法，图片随着热点变化而迁移 20 热点迁移的数据对比（1） 简单按对象大小划分：小的进SSD，中的放SAS，大的 存SATA SSD + 4 * SAS + SATA上的访问负载如下： 21 rootcache161 # iostat -x -k 60 | egrep -v -e “sd.1-9” avg-cpu: %user %nice %system %iowait %steal %idle 3.15 0.00 5.63 11.35 0.00 79.87 Devic

9、e: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 15.40 1.17 50.66 2.63 2673.22 124.85 105.01 0.55 10.39 6.27 33.41 sdb 0.07 0.03 447.29 1.02 4359.01 191.90 20.30 0.32 0.71 0.27 12.13 sdc 5.73 1.53 114.93 8.42 1264.86 100.58 22.14 1.05 8.48 3.56 43.94 sdd 5.57 2.07 121.83

10、9.57 1319.45 104.12 21.67 1.19 9.02 3.63 47.72 sde 5.53 1.45 111.45 8.52 1246.53 101.92 22.48 0.95 7.88 3.42 41.06 sdf 5.45 2.02 118.93 8.00 1281.92 106.25 21.87 1.19 9.37 3.74 47.44 其中：黑色为SATA，绿色为SSD，红色为SAS 4块SAS硬盘上的访问量和超过SSD硬盘上的访问量 热点迁移的数据对比（2） 按对象访问热点进行迁移：最热的进SSD，中等热度 的放SAS，轻热度的存SATA SSD + 4 * SA

11、S + SATA上的访问负载如下： 22 rootcache161 # iostat -x -k 60 | egrep -v -e “sd.1-9” avg-cpu: %user %nice %system %iowait %steal %idle 3.15 0.00 5.63 11.35 0.00 79.87 Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 5.08 1.65 18.55 2.52 1210.07 119.00 126.18 0.14 6.50 5.46 11.

12、51 sdb 1.68 0.05 610.53 1.75 6962.29 413.47 24.09 0.28 0.46 0.23 14.25 sdc 0.22 0.03 28.87 0.97 1172.93 189.13 91.31 0.16 5.28 4.40 13.13 sdd 0.23 0.02 29.70 0.77 1133.47 122.53 82.45 0.15 4.99 4.39 13.37 sde 0.18 0.03 28.23 1.03 1078.73 206.27 87.81 0.15 5.00 4.24 12.40 sdf 0.10 0.02 28.42 0.55 109

13、0.27 115.00 83.22 0.15 5.04 4.44 12.86 其中：黑色为SATA，绿色为SSD，红色为SAS SSD硬盘上的访问量是4块SAS硬盘上访问量之和的5倍以上，SAS和SATA 的硬盘利用率低了很多 CDN系统的历程 2010：LVS + Haproxy + Squid + GTM 利用DELL 2950和混合存储 (1SSD + 4*SAS + 1SATA) Squid优化，ext2文件系统 32个节点，320Gbps以上的能力 2011：LVS + Haproxy + Squid + GTM 低功耗服务器和混合存储 (1SSD + 3*SATA) Squid优化

14、，ext4+nojournal+bigalloc 103个节点，1000Gbps以上的能力 2012：LVS + Haproxy + Squid/TS + Pharos 40Gbps节点，Xeon L处理器+万兆网卡+6*SSD 140个节点，2400Gbps以上的能力 开发了轻量级高性能的Cache软件Swift 2013：LVS + TS Cluster + Tengine 230+个节点，5100Gbps以上的能力 23 系统变迁与成本 年度年度 2009 2010 2011 2012/2013 2014- 节点能力节点能力 （Gbps) 6 10 10 40 80 节点存储节点存储 全

15、SSD 混合存储 混合存储 全SSD 全SSD 节点成本节点成本 （万元）（万元） 240+ 45 30+ 74 80 单位能力单位能力 成本（万成本（万 元元/Gbps） 40 4.5 3 1.85 1 24 议程 25 一、双11购物狂欢节 二、阿里CDN基础设施 三、阿里CDN的演进 四、阿里云CDN服务 五、小结 对外服务 阿里云CDN 阿里在CDN技术和基础设施上都有很好的积累 对外服务目的 将阿里在CDN技术上的积累输出来，帮助 中小网站加速和提高网站的安全性 CDN作为传输加速服务必定是云产品的一 部分 和阿里云的其他云产品配合，完善云生 态系统 26 阿里云CDN 一期覆盖范围

16、 国内：电信、联通、移动、铁通、教育 网、长宽等运营商 海外：新加坡、马来西亚、中国香港、 中国台湾、日本、澳大利亚、俄罗斯、 德国、英国、美国 27 阿里云CDN现有特色 加速 精准的调度优化 自动优化HTML、JavaScript、CSS内容 动态页面加速 安全保护 7层安全上防CC攻击、跨站攻击、SQL注入 、防篡改、挂马等黑客攻击 4层上防SYN flood、UDP flood、ICMP等流量 攻击 28 CDN系统的未来发展 CDN系统的研发与运维 持续提高节点性能（应用软件、操作系统等） 精细化和自动化全局调度系统 优化视频支持（P2P结合）、移动环境拓展 持续提高CDN系统可运维性，服务质量监测 面向音视频通讯的中转支持 CDN系统的建设 系统进一步整合，优化不同规模节点的硬件配置，建 设中型和大型节点 定制化和快速部署 29 议程 30 一、双11购物狂欢节 二、阿里CDN基础设施 三、阿里CDN的演进 四、阿里云CDN服务 五、小结 经验 商用软件不能满足大规模系统的需求 采用开源软件与自主开发相结合，有更好的可控 性，更高的可扩展性 规模效应，研发投入都是值得的 31 在软件和硬件多个层次 优化，优化是长期持续 的过程 先平台后业务 vs 先业务 后平台，后者更顺 发挥边际效应，提高资源 利用率