《王豪迈-基于ceph的UOSCloud块存储服务.pdf》由会员分享，可在线阅读，更多相关《王豪迈-基于ceph的UOSCloud块存储服务.pdf（40页珍藏版）》请在三一文库上搜索。
1、基于 块存储服务 UnitedStack 大纲 UOSCloud OpenStack & Ceph 集群高持久性设计 数据高可用性架构 高性能重构 Unifi ed Cloud Service Platform Unifi ed Ops Being 1 Guangdong 1 Region 1 Public Cloud Customer 1 Customer 2 Customer 3 Managed Cloud Customer 4 Region 2 U Center 随卷容量变化的性能保证 多副本、高数据可用性 所有块设备管理操作一秒内完成 实时快照 支持性能盘和容量盘 支持单卷多虚拟机挂载
2、 基于 UOSCloud OpenStack OpenStack 块存储 OpenStack & Ceph 随容量变化的性能提供 镜像、根分区和数据分区的统一存储 只读卷 共享卷 OpenStack & Ceph nova VMVM LVM SAN Ceph LocalFS Swift Ceph GlusterFS LocalFS NFS GlusterFS glancecinder HTTPHTTP 20 GB Image20 GB Image 1 Gb Network: 20 GB / 100 MB = 200 s = 3 mins 10 Gb Network: 20 GB / 1000
3、MB = 20 s Boot Storm OpenStack & Ceph nova VMVM Ceph glancecinder Ceph Ceph Ceph 设计目标 所有组件横向扩展 没有单点故障 可以在普通商用硬件使用 所有机制必须尽可能自我管理 必须开源 Ceph MON: 3 OSD: 每个物理存储设备 分布式存储系统痛点 中心化系统 元数据瓶颈 单点故障 全分布式系统 故障处理能力不足 数据恢复困难 Hash(obj) 数据控制 数据访问 CRush(cluster state, policy, obj) 集群高持久性设计 CRUSH Ceph CRUSH 集群监控和自修复系统
4、CRUSH 伪随机算法 集群健康状态 节点物理拓扑 数据分布策略配置 所有组件 可根据三者算出任意数据的存放 位置 集群状态 所有 被所有组件拥有 OSDMap 灰度发布 分布式恢复 OSDMap 数据高可用架构 CRUSH 计算存储融合 CRUSH OSD: OSD-Domain: = Replicate-Domain: 有关 Failure-Domain: 关 ? server-01 root rack-01 server-02 server-03 server-04 server-05 server-06 server-07 server-08 ? server-09 rack-02 s
5、erver-10 server-11 server-12 server-13 server-14 server-15 server-16 ? server-17 rack-03 server-18 server-19 server-20 server-21 server-22 server-23 server-24 osd-domain osd-domain osd-domain osd-domain osd-domain osd-domain replica-domain replica-domain failure-domain CRUSH 集群物理拓扑 ? ? Compute/Stora
6、ge Node ? ? Compute/Storage Node Compute/Storage Node Compute/Storage Node ? ? Compute/Storage Node ? ? Compute/Storage Node Compute/Storage Node Compute/Storage Node ? ? Compute/Storage Node ? ? Compute/Storage Node Compute/Storage Node Compute/Storage Node 40 Gb Switch40 Gb Switch ? ? ? Compute/St
7、orage Node ? ? ? ? ? ? ? ? ? 40 Gb Switch Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node ? ? ? Compute/Storage Node ? ? ? ? ? ? ? ? ? Compute/Storage Node Compute/Storage Node Com
8、pute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node 40 Gb Switch ? ? ? Compute/Storage Node ? ? ? ? ? ? ? ? ? Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storag
9、e Node Compute/Storage Node Compute/Storage Node ? ? ? Compute/Storage Node ? ? ? ? ? ? ? ? ? Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node Compute/Storage Node 横向扩展 小结 Ceph 弹性的数据分布策略和物理拓扑输入 实现数据的高可用
10、和高持久性 高性能重构 Ceph oid A于标D、查找、获取对象 全局唯一 data 二进制数据流 可能是任意长度 Attr 键值对集合 A于存储对象相关的元数据 Object ? oid ? data ? attr ? ObjectA ?ObjectB ?ObjectC ?ObjectD ?ObjectX ? RA OS 对象和文件区别是什么？ RADOS RADOS 制， Primary Replica Replica Replica 写入N1 N2? N3? Nn? lient Request 虚拟块设备映射 Obj Obj Obj Obj Obj ObjImage OSDOSDOSD
11、OSD File FileFileFile FileFile FileStore KeyValueStore K/VK/VK/V K/VK/VK/V K/V K/V K/V K/V K/V K/V K/V Pipeline IO VCPU Thread Qemu Main Thread Pipe:WriterPipe:ReaderDispatchThreaderOSD:OpWQFileJournal:Writer FileJournal-fi nisher FileStore:OpWQFileStore:SyncThreadPipe:WriterPipe:ReaderDispatchThrea
12、der FileStore-op_fi nisher FileStore-ondisk_fi nisher RadosClient-fi nisher 减少上下文切换损耗 K/VK/V CPU 保持苏醒 缓存就是 K/VK/V 增加所有重要数据结构的缓存 改善缓存实现 使用 K/VK/V 创建快照、克隆时大大减少拷贝量 启动恢复进程时避免全零拷贝 使用 K/VK/V 在合适的使用场景下开启 RBDCache 实验性优化 K/VK/V 重构消息和事务序列化实现 重写 引入全新的缓存实现 外部优化 CPU 内存 网络 块设备和文件系统 QEMU 性能小结 K/VK/V 性能小结 K/VK/V 4K 4K 大约 运维和监控平台 Puppet Diamond + Graphite Zabbix Ceph More Ceph EC + KeyValueStore CephFS(Filesystem as a Service) Big Data on Ceph(Data Aware) Ultra High Performance Storage 2014/11/20 谢谢