第二网格体系结构.ppt

《第二网格体系结构.ppt》由会员分享，可在线阅读，更多相关《第二网格体系结构.ppt（58页珍藏版）》请在三一文库上搜索。

1、第二章 网格体系结构,龚 斌 山东大学计算机科学与技术学院 山东省高性能计算中心,什么是体系结构? Architecture,各个组成部分的搭配和排列 建筑物上承载重力或外力部分的构造 建造的艺术或者科学（The art or science of building） 建造的方法或者风格（a method or style of building） 计算机或者计算机系统各部分组织与集成的方式（the manner in which the components of a computer or computer system are organized and integrated）,Art

2、and Architecture,Whats the difference between Art and Architecture?,Lyonel Feininger, Marktkirche in Halle,Art and Architecture,Whats the difference between Art and Architecture?,Notre Dame de Paris,内 容,五层沙漏结构 开放网格服务体系结构OGSA Open Grid Service Architecture Web Service 资源服务框架WSRF Web Service Resource

3、FrameWork,网络计算体系结构的发展,网格计算体系结构 层次体系结构 开放网格服务体系结构OGSA OGSIWSRF（WSResource Framework）,Grid的主要问题,在动态变化的、多机构组成的虚拟组织（VO)内的协作资源共享和问题求解,允许分布的服务和资源集成 采用通用的协议和基础支撑 获得较好的QoS服务,一个虚拟组织例子: CERNs Large Hadron Collider,1800 Physicists, 150 Institutes, 32 Countries 100 PB of data by 2010; 50,000 CPUs?,Grid Communit

4、ies & Applications: Data Grids for High Energy Physics,www.griphyn.org www.eu-datagrid.org,网格技术挑战,网格体系结构和网络计算模型 Internet活动规律和特性 网格计算的资源共享和协同的基础理论 Agent？ 协同优化理论？ 标准和协议体系 建立一个开放的信息处理基础设施平台 一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统基础平台 屏蔽异构平台、异构语言,网格技术挑战（续）,虚拟组织的管理和协同工作 基于服务的协作集成技术等； 多个系统的协调和集成 服务和应用的自治

5、管理和优化 自动配置和部署 网格的高可靠和可用性技术 资源多层次和多方面的异构性 系统状态的不确定性 异构分布的环境高可靠的保证 单点失败不导致系统崩溃 网格的安全机制和可信技术 多域的安全问题 访问控制模型 可信技术,网格技术挑战（续）,高度灵活的共享关系定义和共享资源的复杂高级控制 细粒度访问控制、代理 灵活，可应付许多资源类型和共享方式 可扩展大量资源、许多的参与者和程序模块 o的调度和联合分配 记帐技术 各个站点同时履行资源分配的合约，具有事务性原则,网格技术挑战（续）,海量分布数据的存储、分发、访问和管理 高速透明访问多个地点的海量存储系统 统一的数据操作和管理空间 结构化数据访问和

6、管理 非结构化数据访问和管理 etc 网格资源与服务的发现、组织和调度与管理的方法和算法 在线设备的数据自动注释和分类目录,网格技术挑战（续）,高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线（如下图） 高速系统的精确监控 对于算法分析、问题监测和动态自适应配置非常重要 资源、系统、应用的监控 网格系统的自治管理技术 灵活的、自治的资源管理（自动的服务器重启、数据迁移、拥塞避免等）,流水线举例（指令）,网格技术挑战（续）,网格的编程模型和语言 我们需要突破传统的程序设计和并行程序设计语言与编程模型 MPIG？ 网格环境下网格服务的应用形态和高层shell语言 网格工作

7、流语言和机制 面向服务的工作流？ 多域环境下的工作流 网格系统的自适应技术和机制 应用系统在异构分布环境中优化执行； 基于构件技术的网格应用开发环境和工具 面向应用领域的基础支撑工具和服务。,对体系结构基本要求,在技术上，从应用的角度看： 不能破坏现有系统，不能重蹈覆辙（分布操作系统 ） 为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统 不导致应用程序的重新编写 移植简单,对体系结构基本要求,不同组织之间的资源共享互操作是必不可少的 对资源直接访问，不单单是文件共享和交换 体现在各种资源构件之间和机制之间 标准的协议是至关重要的 允许跨节点的 interoperability

8、互操作 允许 shared infrastructure共享设施,需要标准的协议、服务是重要的,标准的APIs/SDKs是重要的 允许应用可移植 没有标准协议互操作很难 (every SDK speaks every protocol?) 基本服务的定义 可共享，避免重复开发和安装 E.g., one port/service/protocol for remote access to computing, not one per tool/application E.g., Certificate Authorities: expensive to run,网格与WWW工作方式的区别,网格的

9、层次,分布式资源 网格系统 网格用户,Classic Grid Architecture,Netsolve,Computing,Security,Collaboration,Composition,Content Access,Resources,Clients,Users and Devices,Middle Tier Brokers Service Providers,Middle Tier becomes Web Services,网格的多方参与性,资源的的归属于不同的管理域 资源种类繁多，接口和使用方式不同 网格的建设需多方参与 网格用户的多样性 一个网格用户要在多个资源上活动,分布式

10、系统与网格,网格的协议层次,Internet协议（HTTP,FTP,SMTP,）,XML协议（SOAP,WSDL,）,网格系统（系统软件，工具集，API,）,网格应用,通信与安全管理,网格系统的基本管理功能,界 面 管 理,资源管理,作业管理,数据管理,信 息 管 理,公 共 管 理,网格系统的基本管理功能（续）,信息管理：为网格中的活动提供依据 资源管理：管理资源 数据管理：管理数据的存储、表示和副本 通信与安全管理：活动合法，信息通达 界面管理：用户与网格的接口 作业管理：作业的执行管理 公共管理：用户的管理，系统监控，记账等,网格的层次结构,面向协议的网格层次结构 面向服务的网格层次结构

11、,面向协议的网格层次结构,Internet（分布式资源，Internet协议,）,网格协议（描述，表示，组织,）,网格软件（系统软件，工具集，）,应用接口（API，命令，开发语言，）,网格应用,面向服务的网格层次结构,Internet（分布式资源，Internet协议,）,服务协议与标准（描述，发现，访问，）,基本服务,通用服务,应用支持环境,网格应用,网格体系结构设计,在技术上，从Grid 实现者的角度： 一个层次型中间件服务集合（like 现行的系统） 按照现代软件系统的设计原则，以服务的方式为应用工具和应用的开发提供支持； 服务的实现必须能够自由地使用各个层次上的功能和服务进行构造。 （

12、这和许多系统的设计原则不同）,Grid “体系结构”,从标准协议、服务角度分析Grid 系统 结果是一个层次协议体系结构 五层沙漏体系结构 Ian Foster等描述了一种具有代表性的体系结构,沙漏结构设计原则,保持参与的开销最小 核心协议较少的，要普遍支持 提供一些核心服务为基础 类似OS内核，移植方便 管辖多种资源，允许局部控制 用来构建高层的、特定领域 的应用服务 支持适应性 “IP hourglass” model,高层功能向瓶颈部分的映射,瓶颈部分功能向底层的映射,瓶颈部分,Hourglass（沙漏）,并行作业 执行系统,What is Nexus ?,Nexus is a libr

13、ary providing the multithreaded communication facilities required to implement advanced languages, libraries, and applications in heterogeneous parallel and distributed computing environments. Its implementation supports multiple communication protocols and resource characterization mechanisms that

14、allow automatic selection of optimal protocols.,Grid Architecture 比较Internet Architecture,每一层存在的协议、服务和接口,Languages/Frameworks,Fabric Layer,Applications,Local Access APIs and Protocols,Collective Service APIs and SDKs,Collective Services,Collective Service Protocols,Resource APIs and SDKs,Resource Se

15、rvices,Resource Service Protocols,User Service Protocols,User Service APIs and SDKs,User Services,Connectivity APIs,Connectivity Protocols,详细构成,工具与应用,目录代理诊断与监控等,资源与服务的安全访问,应用层,汇聚层,资源与 连接层,各种资源，比如计算机，存储介质，网络，传感器等,构造层,网格工具包 Globus Toolkit Making Grid computing a reality,主要组成部分 资源管理 信息服务 数据管理,安全,Grid体系

16、结构各层说明,构造层(Fabric)：提供一套对局部资源控制的工具和接口； 计算、存储、网络、数据和目录等 对所控制的共享资源进行局部管辖和调度 实现各种资源本身的一些控制管理机制 不同类型资源不同的控制管理机制,特定构造层资源及其功能特性,Grid体系结构各层说明,连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议； 基于Internet协议，完成通信； 认证和安全通信,连接层安全认证特性,Grid体系结构各层说明（续）,资源层（Resource)：定义了一些对单个的资源共享操作协议 定义了某类资源的管理和操作等的标准协议和接口 可以远程

17、统一的访问和共享操作资源 如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；,例如：标准的作业管理系统接口和标准,资源层的协议类型与描述,Grid体系结构各层说明（续）,聚合(Collective)：提供多个资源协同工作 联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；,例如：标准的作业管理系统接口和标准,联合分配,汇聚层服务和协议,Grid体系结构各层说明（续）,应用层：提供Grid的系统开发和应用开发工具、环境 程序设计语言和应用开发方法、环境 可视化工具 资源发布和预定工具 工作流管理工具 Portals 应用代码构件 应

18、用,五层结构应用 例1,五层结构应用 例2,五层结构应用 例3,R,e,q,u,e,s,t,P,l,a,n,n,i,n,g,S,e,r,v,i,c,e,s,D,i,s,c,i,p,l,i,n,e,-,S,p,e,c,i,f,i,c,D,a,t,a,G,r,i,d,A,p,p,l,i,c,a,t,i,o,n,s,C,o,m,m,u,n,i,c,a,t,i,o,n,s,e,r,v,i,c,e,d,i,s,c,o,v,e,r,y,(,D,N,S,),a,u,t,h,e,n,t,i,c,a,t,i,o,n,d,e,l,e,g,a,t,i,o,n,A,p,p,l,i,c,a,t,i,o,n,C,o,l,

19、l,e,c,t,i,v,e,R,e,s,o,u,r,c,e,C,o,n,n,e,c,t,i,v,i,t,y,F,a,b,r,i,c,S,t,o,r,a,g,e,S,y,s,t,e,m,s,C,o,m,p,u,t,e,S,y,s,t,e,m,s,N,e,t,w,o,r,k,s,C,a,t,a,l,o,g,s,R,e,p,l,i,c,a,S,e,l,e,c,t,i,o,n,S,e,r,v,i,c,e,s,R,e,p,l,i,c,a,M,a,n,a,g,e,m,e,n,t,S,e,r,v,i,c,e,s,C,o,m,m,u,n,i,t,y,A,u,t,h,o,r,i,z,a,t,i,o,n,S,e,

20、r,v,i,c,e,C,o,d,e,R,e,p,o,s,i,t,o,r,i,e,s,S,t,o,r,a,g,e,M,g,m,t,P,r,o,t,o,c,o,l,C,o,m,p,u,t,e,M,g,m,t,P,r,o,t,o,c,o,l,N,e,t,w,o,r,k,M,g,m,t,P,r,o,t,o,c,o,l,C,a,t,a,l,o,g,M,g,m,t,P,r,o,t,o,c,o,l,C,o,d,e,M,g,m,t,P,r,o,t,o,c,o,l,S,e,r,v,i,c,e,R,e,g,.,P,r,o,t,o,c,o,l,E,n,q,u,i,r,y,P,r,o,t,o,c,o,l,O,n,l,

21、i,n,e,C,e,r,t,i,f,i,c,a,t,e,R,e,p,o,s,i,t,o,r,y,I,n,f,o,r,m,a,t,i,o,n,S,e,r,v,i,c,e,s,C,o,a,l,l,o,c,a,t,i,o,n,S,e,r,v,i,c,e,s,D,i,s,t,r,i,b,u,t,e,d,C,a,t,a,l,o,g,S,e,r,v,i,c,e,s,C,o,n,s,i,s,t,e,n,c,y,M,a,n,a,g,e,m,e,n,t,S,e,r,v,i,c,e,s,S,y,s,t,e,m,M,o,n,i,t,o,r,i,n,g,S,e,r,v,i,c,e,s,R,e,s,o,u,r,c,e,

22、B,r,o,k,e,r,i,n,g,S,e,r,v,i,c,e,s,U,s,a,g,e,A,c,c,o,u,n,t,i,n,g,S,e,r,v,i,c,e,s,R,e,q,u,e,s,t,M,a,n,a,g,e,m,e,n,t,S,e,r,v,i,c,e,s,R,e,p,o,s,i,t,o,r,i,e,s,Knowledge,Foster, Kesselman, Architecture 抽象层次,Layered Architecture,Applications,Core Services,Metacomputing Directory Service,GRAM,Globus Securit

23、y Interface,Replica Catalog,GASS,GridFTP,Local Services,LSF,Condor,MPI,NQE,PBS,TCP,AIX,Linux,UDP,High-level Services and Tools,Cactus,Condor-G,MPI,Nimrod/G,globusrun,PUNCH,Grid Status,I/O,Solaris,DRM,Open Grid Architecture,Data Handling Systems,Storage Resources,API that provides “glue” to underlyin

24、g storage, QoS, etc. GASS, IBP, SRB,Remote Procedure Execution,DPSS, DFS, NFS HPSS, ADSM, DMF, Unitree, NASstore, DB2, Oracle, Informix, Sybase, O2, ObjectStore, Objectivity,API that provides “glue” to underlying data handling systems (security, scheduling, QoS, access protocol, data format/model, a

25、daptivity, info discovery, location control),Data Model Management,Application,Storage System Description,Information Discovery,Armada Dagents, FEL, ADR GRAM, SRB,+ authentication + authorization,Dynamic Info Discovery,GloPerf, Netlogger, NWS,(e.g., filtering),Condor, GASS, NILE, SRB, I-2 caching, ADR,DTD, ADR, object class,LDAP, Database, Flat file, Object database,网格技术,网格层次结构的划分,五层沙漏结构的缺点,不够抽象-服务,