《HBase培训PPT课件.ppt》由会员分享，可在线阅读，更多相关《HBase培训PPT课件.ppt（26页珍藏版）》请在三一文库上搜索。
1、回顾一下传统关系型数据库,事务的保障，ACID 丰富的数据类型和SQL操作 严格的数据模型,行式存储,互联网的需求,对数据高并发读写的要求 对海量数据的存储和访问 伸缩性，可用性，可靠性方面的需求,关系型数据库的解决方案,高并发 措施：读写分离，分库分表 带来数据一致性问题 海量数据 措施：分库分表 实现复杂，后期迁移维护复杂， 路由规则（DHT，自定义） 高可用，可靠，伸缩 措施：主备，主从，多主 本身扩展性差，增加和节点宕机需要进行数据的迁移,NOSQL-CAP,CAP BASE,NOSQL一致性,强一致 2PC W+RN PAXOS 弱一致 Gossip 向量时钟 时间戳 Merkle
2、tree,HBase在hadoop体系中位置,分布式数据库HBase的特点,基于列式的高效存储 强一致的数据访问 高可靠 高性能 可伸缩，自动切分，迁移 Schema free,逻辑数据模型,Table Region ColumnFamily Row Column Value TimeStamp,HBase的体系组成,体系结构组成,体系结构组成,HBase各对象职责,Client HBase的访问接口，维护cache加快HBase的访问 Zookeeper 监控master，保证只有一个master 存储Region的入口地址 监控RegionServer上下线，并告知Master 存储Hba
3、se shcema和table 的元数据 Master 分配Region到RegionServer RegionSever的负载均衡 发现失效的RegionServer并重新分配其上的Region 管理用户对Table的增删改查操作 RegionServer 维护Region，处理对这些Region的IO Split&Compact,Region的定位,-ROOT- .META,Region的定位,LSM-Tree,BTree（索引读） mysql,Oracle Hash（key value） redis,mongodb 无法范围查询 无法避免表扫描 无法避免数据排序 LSM-Tree（写）
4、HBase BooleamFilter 快速定位数据是否位于某集合 少量的错判率,Lsm-tree,bitmap,Put/Get操作,存储分布,HFile,HLog,RegionServer宕机恢复 (可靠性),冗余 节点宕机,内存中的数据还未Flush到文件中,Region Server1,Master,zookeeper,Region1 stores,HDFS,Region2 stores Store1 store2,WAL .logs/rs1/xxxxx1 .logs/rs1/xxxxx2,Region1 .splitlogs,Region2 .splitlogs,SeqNum chec
5、k,Region Server2,Split log,Assign Region,Open Region Relay log,Split&Compact （可用性）,为什么要分裂 避免单个region访问过于频繁 单机压力过大，均衡压力 为什么要Compact 减少HFile文件的个数 提高性能 清除过期和删除数据 分裂过程 触发split region zookeeper创建split点 hdfs创建临时分裂目录 Region下线 分裂两个子region 更新META表 打开Region 更新META表关于子Region的位置信息 更新zookeeper分裂状态完成 *建议禁止自动split，系统不忙的时候手动进行,Split&Compact （可用性）,Compact minor compact major compact Region所有的Hfile合并成一个，垃圾清理 建议定时或者手工进行,MemStore,HFile,Compact Thread,Flush, snapshot,Compact queue,HFile,HFile,HFile,应用方式,RowKey设计 userNum$2013-10-01$orderNum Filter 外部建索引 Sorl+Hbase 内建索引表,其他,Map Reduce 性能调优 运维,QA,个人观点供参考，欢迎讨论,