《阿里数据库架构变迁与展望-刘昆.pdf》由会员分享，可在线阅读，更多相关《阿里数据库架构变迁与展望-刘昆.pdf（24页珍藏版）》请在三一文库上搜索。
1、阿里数据库架构变迁与展望 个人介绍 李圣陶 花名 刘昆，09年加入淘宝 阿里技术保障数据库专家 微博：tao陶先生 邮箱 : 阿里数据库体系的四个时代 2003 - 2004 2005 - 2010 2011 - 2015 2016 - 单机房 单个应用 单机MySQL 同城多机房 垂直拆分 商业 IOE 异地双活 单元化 AliSQL 异地多活 云化 自研OceanBase 淘宝初创 辉煌时代 无冕之王 新机遇新挑战 淘宝初创 淘宝初创 MySQL Master Apache Mod_php4 Pear DB Auction Apache Mod_php4 Pear DB Member A
2、pache Mod_php4 Pear DB Search Apache Mod_php4 Pear DB MySQL Slave MySQL Slave 复制复制 复制复制 读写读写 读读 读读 问题: 单机MySQL数据库迅速达到瓶颈 解法: MySQL迁移到Oracle，并逐步升级硬件，到小型机， 高端存储，最终形成IOE 架构 效果: 支撑了淘宝 2004 到 2009 发展高峰 淘宝初创 辉煌时代-IOE 问题: 扩展性、可用性 垂直扩展走到了极限 集中式，稳定性的挑战 掌控力 闭源的Oracle 封闭的小机/存储 辉煌时代-IOE 第一次推动中国数据库产业变革第一次推动中国数据库产
3、业变革 获得无限掌控力 数据库限流 - 第一次自己的命运自己掌握 热点更新优化 - 定制优化热点商品减库存业务场景 线程池特性优化 - 定制优化高连接数并发场景 专场7 数据库调优， 阿里巴巴 章颖强 无限可能，尽在掌握 回首往事 从 IOE 架构走向 AliSQL分布式架构 无冕之王- AliSQL . 上百组 12年历程回顾 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 淘宝网创建 引入Oracle 应用 Java 化改造 引入小型机 第一次双十一 淘宝全网完成去IOE 开始尝试MySQL 垂直拆分完成 水平拆分完成
4、 去IOE启动 商品库完成去IOE 支付宝完成去IE 支付宝交易完成OB改造 硬件不断升级 全网架构 资源限制, 一个城市已经不能满足需求 容灾，单地域机房风险 新挑战 新机遇 OceanBase 单元化 AliSQL 分表数量庞大 集群拆分接近极限 业务开发复杂度 路由，关联，聚合，订正 新挑战 新机遇 - 单元化 cdn2 。 数据同步 中心 单元1 按用户分流 cdn1 服务层 cdnN 缓存 层 数据层 单元2 服务层 缓存 层 数据层 接入层 中心服务层 缓存层 数据层 单元N 服务层 缓存 层 数据层 接入层 接入层 接入层 中心备份 同步调用 异步消息 单元化 对应用挑战的及解法
5、 延迟同步调用的影响 同一机房0.2ms 同一城市15ms 跨城市5ms100ms 几百次调用吞吐量下降 数据复制延迟问题 单元内封闭 新挑战 新机遇 - 单元化 对数据库的挑战及解法 中心及各个单元间数据拆分原则 数据质量保障 数据多点写入风险 数据复制一致性，正确性 保障 专场13 阿里巴巴 钱在晨 数据买家维度拆分 单元间DRC数据复制 新挑战 新机遇 - 单元化 单元化效益 稳定性 变更范围 故障恢复时间 伸缩能力 摆脱机房限制 伸缩规模再次增强 新挑战 新机遇 - 单元化 横跨三年的项目 2013-05 2013-08 项目启动 同城两单元 异地双活 2014-08 2014-11
6、双11洗礼 探索 攻坚 收尾 2015-08 多地域，更远距离 新挑战 新机遇 - 单元化 全网架构 资源限制, 一个城市已经不能满足需求 容灾，单地域机房风险 新挑战 新机遇 OceanBase 单元化 AliSQL 分表数量庞大 集群拆分接近极限 业务开发复杂度 路由，关联，聚合，订正 数据存储：多机磁盘数据存储：多机磁盘 修改增量：单机内存修改增量：单机内存 Data 基线数据 (固态盘) 修改增量 (内存) Query 增删改 新挑战 新机遇 - OceanBase Update Server MergeServer ChunkServer MergeServer ChunkServe
7、r MergeServer ChunkServer MergeServer ChunkServer MergeServer ChunkServer MergeServer ChunkServer 修改增量 应用接口 基线数据 SQL SQL SQL SQL SQL SQL SQL SQL Root Server 配置管理 新挑战 新机遇 - OceanBase 基于基于Paxos的高可用方案的高可用方案 以不可靠部件提供可靠服以不可靠部件提供可靠服 小于半数的分区容忍性小于半数的分区容忍性 较高的可用性较高的可用性(最大最大35s不可用不可用) 强强一致性一致性 角色角色 异常描述异常描述 时
8、间时间/影响影响 RootServer 宕机宕机/程序异常退出程序异常退出 35S/不可用不可用 UpdateServer 宕机宕机/程序异常退出程序异常退出 25S左右左右/不可用不可用 MergeServer 宕机宕机/程序异常退出程序异常退出 1分钟分钟/少量读超时少量读超时 ChunkServer 宕机宕机/程序异常退出程序异常退出 1分钟分钟/少量读超时少量读超时 主集群不可用主集群不可用 如出现机房断网情况如出现机房断网情况 35s/不可用不可用 新挑战 新机遇 - OceanBase 2014.2(v0.5)2014.2(v0.5) 2010.6 启动 2010 2011 2012 2013 2014 2015 2016 2017 V0.1 支持淘宝收藏夹 V0.3 支持广告报表 V0.4 支持SQL V0.5 支持支付宝交易 V1.0 全新架构发布 V1.0 支持淘宝交易 V1.x 全面覆盖 新挑战 新机遇 - OceanBase 总结， 欢迎你的加入 携手共创未来