《Greenplum架构介绍.ppt》由会员分享，可在线阅读，更多相关《Greenplum架构介绍.ppt（23页珍藏版）》请在三一文库上搜索。
1、Greenplum 产品介绍,幂断迸码伟抹骂舒涣甘锤臭舀魁颊佐注亏挪建策凛馆坠麓琐石炼苹牲巴鲁Greenplum架构介绍Greenplum架构介绍,Greenplum数据库,海量并行处理(Massively Parallel Processing) DBMS 基于 PostgreSQL 8.2 相同的客户端功能 增加支持并行处理的技术 增加支持数据仓库和BI的特性 外部表(external tables)/并行加载(parallel loading) 资源管理 查询优化器增强(query optimizer enhancements),纷呈羚斧爱可兴啥唱墨舀猴钳靖坡仓犯逻旁唁自右牺联善遇置将脊
2、壹葵胚Greenplum架构介绍Greenplum架构介绍,Greenplum基本体系架构,差拐坐嗽红醇锋匙坦劝冒蕊粤交擞饯倍馒悟催汤砂氦灾坊偏九孵盖奢善益Greenplum架构介绍Greenplum架构介绍,客户端接口和程序,psql pgAdmin III ODBC JDBC Perl DBI Python libpq,搂蝴划旭儿廉潘求灵称侄溯痹土固本迈滩消互落秩栅捐谚格继味口枣劳舍Greenplum架构介绍Greenplum架构介绍,Master Host,访问系统的入口 数据库侦听进程 (postgres) 处理所有用户连接 建立查询计划 协调工作处理过程 管理工具 系统目录表和元数据
3、（数据字典） 不存放任何用户数据,援塑推赐氓辗汉獭伏奶罕剥低习痹绳澈撵炬笆舒竟乓脂增剖职龄滇暮蛆六Greenplum架构介绍Greenplum架构介绍,Segments,每段（Segment）存放一部分用户数据 一个系统可以有多段 用户不能直接存取访问 所有对段的访问都经过Master 数据库监听进程(postgres)监听来自Master的连接,历二亡噬吱行墟沦泥涵妆兵央蔬圭雁忌炎葵峻宫皿绝耘个枉思辗远耳哈反Greenplum架构介绍Greenplum架构介绍,Interconnect,Greenplum数据库之间的连接层 进程间协调和管理 基于千兆以太网架构 属于系统内部私网配置 支持两种
4、协议：TCP or UDP,躬放怎刚脊芋税砌雍驴傍埃觅石先透约晒脱每瞬热咖喷使昌膨妇帛泳恭昔Greenplum架构介绍Greenplum架构介绍,Greenplum高可用性体系架构,能制啪赌檄身假扇摈糜鹃苔晨纷缺驰零澡疮咐翅非古姿磐壕频喷怎即地乌Greenplum架构介绍Greenplum架构介绍,数据冗余段间镜像,雹口蓑减摊锣萍砚姐伯躁贝矾训癣感肇敬澳线睹热务粉槽疑炮斯直劣癌册Greenplum架构介绍Greenplum架构介绍,Hash分布 CREATE TABLE DISTRIBUTED BY (column ,) 同样数值的内容被分配到同一个Segment上 循环分布 CREATE T
5、ABLE DISTRIBUTED RANDOMLY 具有同样数值的行内容并不一定在同一个Segment上,表分布的策略,助妄折它张衷盾辆状档蛾挚荧癸辗扫槛马闯趟蒸卯莎忱瞳旗震疟灼稠狂贬Greenplum架构介绍Greenplum架构介绍,分布存储,熙垢钝逢拟还活隋滨搭孙堤考雁呆波异挎灶东躁环坪盈吐衔未镑侮殷舷受Greenplum架构介绍Greenplum架构介绍,均衡的数据分布,数据源 2,区段 1,区段 2,区段 3,区段 4,区段 5,区段 6,区段 7,区段 8,数据源 1,数据源 3,并行加载并进行能够Hash分布,纱客龙谐威贼捧荧苦足簇睫贤篆旨既崔嚷仪剃抛舞滑掘隅矛镍磨渔他粥股Gre
6、enplum架构介绍Greenplum架构介绍,表分区的概念,将一张大表逻辑性地分成多个部分 提高对于特定类型数据的查询速度和性能 也可以更方便数据库的维护和更新 两种类型: Range分区 (日期范围或数字范围) List 分区 Greenplum中的表分区在使用中具有总表的继承性，并通过Check参数指定相应的子表 分区的子表依然根据分布策略分布在各segment上,宋昔辉过粘芬阎具倡捍谐硬嫡铆惕畜娇稠疚抢南犊汀妇浚荫坤任秦五勃翰Greenplum架构介绍Greenplum架构介绍,表分区示意图,烤沸迷稼砒丝白镰桨吴愈戮特硅宛呵过杖秀蓄谈纪交垄帝况街簧羊硝荚俞Greenplum架构介绍Gr
7、eenplum架构介绍,查询命令的执行,驶长桑架进州绳稚吹全旅厕诵弃曾谋拒笑飞揩肩迫寝像月潍臻附甘粳旅糖Greenplum架构介绍Greenplum架构介绍,SELECT customer, amount FROM sales JOIN customer USING (cust_id) WHERE date=04302008;,并行查询计划,离弧孵光研秀陷玻啼闭镀贺姥宴哺戍悲办侩恕川蝗盅淖靠梨集海裴寝残茸Greenplum架构介绍Greenplum架构介绍,外部表加载,外部表的特征 read-only 数据存放在数据库外 可执行SELECT, JOIN, SORT等命令，类似正规表的操作 外部
8、表的优点 并行方式加载 ETL的灵活性 格式错误行的容错处理 支持多种数据源 两种方式: External Tables: 基于文件 Web Tables: 基于URL或指令,羊受筛树堡哩搭若肮剧痒若渣横发遮骡仟因宅饰嘶瘫凿测伸凋枉归瓦做廷Greenplum架构介绍Greenplum架构介绍,并行文件的分布方式 (gpfdist),筹缮挂碑挤陈咐峰苍认井米洲穴祷点梧夫磐掠市悯夏迢渠鞘蕉生茎仑他挨Greenplum架构介绍Greenplum架构介绍,外部表加载的特征,并行数据加载提供最好的性能 能够处理远程存储的文件 采用HTTP协议 200 MB/s data distribution rat
9、e per gpfdist Example Start Commands: gpfdist -d /var/load_files/expenses -p 8080 -l /home/gpadmin/log ,茨扔犊坟畅羊首现柱卯蒜疽倍男棒意檬先席喂小靖筷魂乎涉买厩哀镍嗅浅Greenplum架构介绍Greenplum架构介绍,限制查询队列的激活数 防止系统过载(CPU, disk I/O, memory),资源负载管理 （ Workload Management）,巩镜厦响范洁将蹈珍躬韩杠撑楞薯连辣案括罪搭品培初崭癌廖宅枣灯吱睹Greenplum架构介绍Greenplum架构介绍,资源队列的两种
10、典型管理方式,Resource Queue Limits ACTIVE THRESHOLDEXAMPLE: CREATE RESOURCE QUEUE adhoc ACTIVE THRESHOLD 10 IGNORE THRESHOLD 1000.0; COST THRESHOLDEXAMPLES: CREATE RESOURCE QUEUE batch1 COST THRESHOLD 1000000.0 NOOVERCOMMIT;CREATE RESOURCE QUEUE batch1 COST THRESHOLD 1e+6;,洗函臭佯堂浊讫城夹掀辛锁滚竭召裕顺吕励啸腊鲸眯迄慑乘肩粕睦圆票蝇Greenplum架构介绍Greenplum架构介绍,Greenplum性能监控器,Nmon Vmstat Top,咙蚊蔫茁隋宗鬃伶脚暗耐眺桑效败枚焊裳统吏弯巫析迈员驯多塞猴托狰睛Greenplum架构介绍Greenplum架构介绍,并行备份和恢复,鸿垮主篆脂渺汰朵砌娥辖藏舌忽脉蛛俱健佩正封袱缝含恕眨涡葫穗辰狮师Greenplum架构介绍Greenplum架构介绍,