《QConShanghai-陈磊-云计算.pdf》由会员分享，可在线阅读，更多相关《QConShanghai-陈磊-云计算.pdf（27页珍藏版）》请在三一文库上搜索。
1、QCon北京2014大会 4月2527日 InfoQ infoqchina 特别感谢 QCon上海合作伙伴 Simplicity is the Spirit of CloudSimplicity is the Spirit of Cloud? 云的简约之美云的简约之美：QzoneQzone的云架构的云架构 QQQQ空间空间，每天有亿万网民在此发表生活的点滴感悟每天有亿万网民在此发表生活的点滴感悟， 分享感兴趣的内容信息分享感兴趣的内容信息 相册日上传量相册日上传量超过超过3.63.6亿 亿 元旦期间说说发表总量元旦期间说说发表总量超过超过5.15.1亿 亿 春节期间送礼总量春节期间送礼总量超过
2、超过3.13.1亿 亿 海量的用户海量的用户 无处不在的礼物 无处不在的礼物 日志送礼 日志送礼 签到签到+ +送礼 送礼 生日送礼 生日送礼 丰富的业务丰富的业务，个人中心有个人中心有2020多个业务模块多个业务模块 魔方日志 魔方日志 模板日志 模板日志 个性化日志 个性化日志 便捷便捷、安全云相册 安全云相册 接入层 逻辑层 数据层 S+ S+ S+ 部署策略 qzhttp qzhttp qzhttp qzhttp S+ L5 L5 L5 TGW TGW TGW TFS CMEM CDB TSSD CBS SETm SETn 同步中心 加速层 CDN WNS 层次清晰层次清晰，架构简单架
3、构简单 每一个组件的功能尽量单一、简单? 文件存入TFS? 数据库用CDB? Key-Value存储，不同的介质，使用CMEM，TSSD 和TDB? 云盘使用CBS 使用标准服务开发，部署简单? Web层使用qzhttp，逻辑层使用S+? 选择最简单的设计，保证稳定性、容错? 标准化的部署方法，流量调度、分布、扩容等 运维简单? 怎样做到简单怎样做到简单？ 性能高，每个组件解决特定的问题，充分挖掘CPU /MEM/IO的资源? 稳定，Qzone的服务可用性大于99.999%，? 服务出现异常，2分钟内完成自动调度? 数据分布平均时延1G 500M 100M 10M 1M 100K 10K 1K
4、 1G 500M 100M 10M 1M 100K 10K 1K 1K TFSTFS的故事的故事：分配策略?分配策略? 当对CHX进行读/写操作时， CHX会向CHX-Master上报其 读写磁盘是否正常，如果不正 常，CHX-Master将标明这 CHX为故障，与此相关的 CHX镜像也将改为自读不能写 的状态? CHX定时向CHX-Master进行 上报，上报CHX服务器工作是 否正常，如果CHX-Master在 指定时间内未收到该服务器的 上报，将判定该CHX服务器为 故障，CHX-Master将这台 CHX服务器所对应的所有 CHX改为故障，并将这些 CHX对应的镜像也改为只读不 能写的
5、状态? 对于个别CHX发生故障， CHX-Master可以针对其进行 自动的数据迁移，对于CHX服 务器发生的故障，这部分的数 据迁移或服务恢复需要人工进 行干预? CHX 10001 10002 10003 10004 10005 10006 CHX 10007 10008 10009 10010 10011 10012 CHX-Master 10001 10002 10003 10004 10005 10006 10007 10008 10009 10010 10011 10012 定时上报，上报整机运行状况? 读，写操作上报，? 上报CHX的磁盘操作是否正常? TFSTFS的故事的故事：
6、存储容灾?存储容灾? normal writing read only error online 分配上? 上?完成/超? 迁移（源） 置? 恢复 恢复,?等chunk置? 置? ?等chunk 恢复 置? 置? ?等chunk置? moving free error free 置? 恢复 迁移（源） 迁移（源） ?等chunk 置? 置? ?等chunk 置? 迁移?定 迁移解? 迁移（目的） 置? 状态状态 读访问读访问 写访问写访问 说明说明 normal 正常状态，可读可 分配上传 writing 已分配上传，可读 不可再分配 read only 对等chunk异常， 只读 error
7、 online chunk异常，不可 读写 moving chunk正在迁移， 只读 free chunk没有数据 error free chunk没有数据， 状态异常 TFSTFS的故事的故事：CHXCHX状态迁移?状态迁移? chid和devid的映射，迁移不用修改索引? chid：逻辑上的chunk，devid：物理上的chunk? chxmaster维护chid到devids的映射、chunk的状态? Freechunk，预留做数据迁移的目的? 数据迁移? 目的：坏盘、空间回收? 迁移过程? 10100001? 10130001? trsf?trsf? 10100001?X? 1020
8、0050? 10230050? 迁移后?迁移后? 10200050? 10230050? 10100001? TFSTFS的故事的故事：坏盘迁移?坏盘迁移? WNSWNS的故事的故事：移动网络带来的挑战?移动网络带来的挑战? 蓝色的部分代表静态内容， 大流量，通过CDN来解决? 红色的动态内容，变化频繁， 通过WNS动态加速? Local dns不在本地，域名解 析慢? 移动延时大，丢包率较高? WNSWNS的故事的故事：速度优化?速度优化? OC点就近接入? 寻找最佳路由，按照质 量选择路由，而不是最 短路径选择路由? 优先TCP，TCP不通切换 到HTTP，TCP允许多连 接并发? 通过冗
9、余数据的传输， 部分丢包不需要重传? 优化TCP协议，减少超时 重传的发生，尽量快速 重传，避免窗口减少造 成发送速度下降? 步骤?步骤?延时（理论延时（理论）?延时（实际延时（实际）?对策?对策? 交换控制指令?2s?未知?无法控制? DNS解析?100-200ms?Wifi 150-20000ms? 3g 1500-2700ms? 2g 2600-5000ms? Wifi DNS解析， 非wifi ip直连? 连接建立?100-200ms?Wifi 800ms? 3g 2200-4200ms? 2g 1800-2900ms? 长连接、心跳 保活? http请求/应答 （串行N个）? 100
10、-200ms*N?450-4200ms*N?多发多收(并 行)、减少上行? 数据下载?数据量/带宽?120kb/s?压缩、下行发 片(类似http的 chunk)? WNSWNS的故事的故事：速度优化?速度优化? SETSET的故事?的故事? 同步中心 SET1 M1 M2 Mn Web层 M1 M2 Mn 逻辑层 M1 M2 Mn 存储层 SET2 M1 M2 Mn Web层 M1 M2 Mn 逻辑层 M1 M2 Mn 存储层 SETN M1 M2 Mn Web层 M1 M2 Mn 逻辑层 M1 M2 Mn 存储层 用户群A 用户群B 用户群C 从模块管理到SET管理， 减少运维对象? 通过
11、一键克隆技术，1天 内完成SET的部署，极大 提高运维效率? 每个SET提供Qzone完整 的功能，SET出现异常， 直接把SET的流量迁移到 别的SET，不用定位具体 的原因，2分钟内完成故 障迁移，从容面对各种 故障? SET和在线服务能力挂 钩（一个SET支持1000W 用户），运维评估SET内 各模块资源使用量的模 型简单? 开通标记 黄钻等级 框架方案 应用列表 好友关系 权限中心 日志 像册 心情 分享 音乐 礼物 个人挡 好友 信息中心 搜索 最近访客 自定义模块 广告 好友问问 空间小广播 星座运势 个性头像 个性域名 好友生日 任务体系 QQ昵称 QQ关系链 OIDB ptl
12、ogin SETSET的故事?的故事? Notify Notify Notify Notify BillBill Data Data BillBill Data Data acessacess 信息中心信息中心 日志日志 关系链关系链 权限权限 资料资料 . . . . . . 信息中心信息中心 日志日志 关系链关系链 权限权限 资料资料 . . . . . . acessacess Notify Notify BillBill Data Data Notify Notify BillBill Data Data 对账 对账 上海 深圳 100%成功 数据安全 时序 内外网传输 流量控制 高效 路由管理 透明转发 SETSET的故事的故事：同步中心?同步中心? Thank YouThank You