电子工业出版社云计算二版配套章节件.ppt

《电子工业出版社云计算二版配套章节件.ppt》由会员分享，可在线阅读，更多相关《电子工业出版社云计算二版配套章节件.ppt（34页珍藏版）》请在三一文库上搜索。

1、电子工业出版社云计算(第二版)配套课件,解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作,第9章 云计算仿真器CloudSim,云计算（第二版）购买网址： 当当网 京东商城,姊妹力作实战Hadoop购买网址： 当当网 京东商城,提 纲, CloudSim简介 CloudSim体系结构 CloudSim技术实现 CloudSim的使用方法 CloudSim的扩展,CloudSim简介,CloudSim -澳大利亚墨尔本大学Rajkumar Buyya教授领导团队开发的云计算仿真器，它的首要目标是在云基础设施（软件、硬件、服务）上，对不同应用和服务模型的调度和分配策略的性能进行量化和比较，

2、达到控制使用云计算资源的目的 仿真框架有特性 （1）支持在单个物理计算节点上进行大规模云计算基础设施的仿真和实例化 （2）提供一个独立的平台，供数据中心、服务代理、调度和分配策略进行建模 （3）提供虚拟化引擎，可在一个数据中心节点创建和管理多个独立、协同的虚拟化服务 （4）可以在共享空间和共享时间的处理核心分配策略之间灵活地切换虚拟化服务,提 纲, CloudSim简介 CloudSim体系结构 CloudSim技术实现 CloudSim的使用方法 CloudSim的扩展,CloudSim体系结构,CloudSim核心模拟引擎,1）CloudSim 主类，负责管理事件队列和控制仿真事件的顺序执

3、行。这些事件按照它们的时间参数构成有序队列 （1）支持实体失活操作 （2）支持不同状态实体的上下文切换，暂停或继续仿真流程 （3）支持运行中创建新实体 （4）支持运行中终止或重启仿真流程,CloudSim核心模拟引擎,2）DeferredQueue 实现CloudSim使用的延时事件队列 3）FutureQueue 实现CloudSim使用的未来事件队列 4）CloudInformationService（CIS） 提供资源注册、索引和发现能力的实体。支持两个基本操作：publish()允许实体使用CIS进行注册；search()允许类似于CloudCoordinator和Brokers的实体

4、发现其他实体的状态和位置，该实体也会在仿真结束时通知其他实体 5）SimEntity 代表一个仿真实体，该实体既能向其他实体发送消息，也能处理接收到的消息。所有的实体必须扩展该类并重写其中的三个核心方法：startEntity()、processEvent()和shutdownEntity()，它们分别定义了实体初始化、事件处理和实体销毁的行为,CloudSim核心模拟引擎,6）CloudSimTags 包含多个静态的时间或命令标签，CloudSim实体在接收和发送事件时使用这些标签决定要采取的操作类型 7）SimEvent 给出了在两个或多个实体间传递仿真事件的过程。SimEvent存储了关

5、于事件的信息，包括事件的类型、初始化时间、事件发生的时间、结束时间、事件转发到目标实体的时间、资源标识、目标实体、事件标签及需要传输到目标实体的数据 8）CloudSimShutdown 用于结束所有终端用户和代理实体，然后向CIS发送仿真结束信号 9）Predicate 抽象类且必须被扩展，用于从延时队列中选择事件,CloudSim核心模拟引擎,10）PredicateAny 表示匹配延时队列中任何一个事件。在CloudSim的类中有个可以公开访问的实例CloudSim.SIM_ANY，因此不需要为该类创建新的实例 11）PredicateFrom 表示选择被特定实体放弃的事件 12）Pre

6、dicateNone 表示不匹配延时队列中的任何事件。在CloudSim中有个可以公开访问的静态实体CloudSim.SIM_NONE，因此用户不需要为该类创建任何新的实体 13）PredicateNotFrom 选择已经被特定对象发送的事件 14）PredicateType 根据特定标签选择事件 15）PredicateNotType 选择不满足特定标签的事件,CloudSim层,CloudSim仿真层 -为云数据中心环境的建模和仿真提供支持，包括虚拟机、内存、存储器和带宽的专用管理接口。该层主要负责处理一些基本问题，如主机到虚拟机的调度、管理应用程序的执行、监控动态变化的系统状态 网络层

7、-模拟真实网络拓扑，延时矩阵中存储的信息模拟一个消息从一个CloudSim实体（如主机）到另一个实体（如云代理）过程中产生的网络延时,CloudSim层,2.云资源层 -与云相关的核心硬件基础设施均由该层数据中心组件来模拟。数据中心实体由一系列主机组成，主机负责管理虚拟机在其生命周期内的一系列操作。每个主机都代表云中的一个物理计算节点，它会被预先配置一些参数，如处理器能力（用MIPS表示）、内存、存储器及为虚拟机分配处理核的策略等 -为了整合多朵云，需要对云协调器（CloudCoordinator）实体进行建模。该实体不仅负责和其他数据中心及终端用户的通信，还负责监控和管理数据中心实体的内部状

8、态。在监控过程中收到的信息将会活跃于整个仿真过程中，并被作为云交互时进行调度决策的依据,CloudSim层,3.云服务层 -虚拟机分配是主机创建虚拟机实例的一个过程 ，在云数据中心，将特定应用的虚拟机分配给主机是由虚拟机分配控制器（VmAllocationPolicy）完成 -考虑情况：一台拥有两个CPU内核的主机要运行两个虚拟机，每个虚拟机需要两个内核并要运行4个任务单元。更具体来说，VM1上将运行任务t1、t2、t3、t4，而VM2上将运行任务t5、t6、t7、t8,（a）中虚拟机和任务单元均采用空间共享策略。由于采用空间共享模式，且每个虚拟机需要两个内核，所以在特定时间段内只能运行一个虚

9、拟机。因此，VM2只能在VM1执行完任务单元才会被分配内核。VM1中的任务调度也是一样的，由于每个任务单元只需要一个内核，所以t1和t2可以同时执行，t3、t4则在执行队列中等待t1、t2完成后再执行,（b）虚拟机采用空间共享策略，任务单元采用时间共享策略。因此，在虚拟机的生命周期内，所有分配给虚拟机的任务单元在其生命周期内动态地切换上下文环境,（c）虚拟机采用时间共享策略，任务单元使用空间共享策略。这种情况下，每个虚拟机都会收到内核分配的时间片，然后这些时间片以空间共享的方式分配给任务单元。由于任务单元基于空间共享策略，这就意味着对于一台虚拟机，在任何一个时间段内，内核只会执行一个任务,（d

10、）虚拟机和任务单元均采用时间共享策略。所有虚拟机共享处理器能力，且每个虚拟机同时将共享的能力分给其任务单元。这种情况下，任务单元不存在排队延时,CloudSim层,4. 虚拟机服务层 -提供了对虚拟机生命周期的管理，如将主机分配给虚拟机、虚拟机创建、虚拟机销毁以及虚拟机的迁移等，以及对任务单元的操作 5. 用户接口结构层 -提供了任务单元和虚拟机实体的创建接口,用户代码层,CloudSim的最高层是用户代码层，该层提供了一些基本的实体，如主机（机器的数量、特征等）、应用（任务数和需求）、虚拟机，还有用户数量和应用类型，以及代理调度策略等。通过扩展这一层提供的基本实体，云应用开发人员能够进行以下

11、活动 （1）生成工作负载分配请求和应用配置请求 （2）模拟云可用性场景，并基于自定义配置进行稳健性测试 （3）为云及联合云实现了自定义的应用调度技术,提 纲, CloudSim简介 CloudSim体系结构 CloudSim技术实现 CloudSim的使用方法 CloudSim的扩展,CloudSim云模拟器的类设计图,CloudSim技术实现,1）BwProvisioner 用于模拟虚拟机的带宽分配策略。可以通过扩展这个类反映其应用需求的变化，实现自己的策略（基于优先级或服务质量） 2）CloudCoordinator 整合了云数据中心，负责周期性地监控数据中心资源的内部状态和执行动态负载均

12、衡的决策 3）Cloudlet 模拟了云应用服务（如内容分发、社区网络和业务工作流等）。每一个应用服务都会拥有一个预分配的指令长度和其生命周期内所需的数据传输开销 4）CloudletScheduler 扩展实现了多种策略，用于决定虚拟机内的应用服务如何共享处理器能力。支持两种调度策略：空间共享（CloudletSchedulerSpaceShared）和时间共享（CloudletSchedulerTimeShared）策略,CloudSim技术实现,5）Datacenter 模拟了云提供商提供的核心基础设施级服务（硬件）。它封装了一系列的主机，且这些主机都支持同构和异构的资源（内存、内核、容

13、量和存储）配置 6）DatacenterBroker 模拟了一个代理，负责根据服务质量需求协调SaaS提供商和云提供商。该代理代表SaaS提供商，它通过查询云信息服务（Cloud Information Service）找到合适的云服务提供者，并根据服务质量的需求在线协商资源和服务的分配策略,CloudSim技术实现,7）DatacenterCharacteristics 包含了数据中心资源的配置信息 8）Host 模拟如计算机、存储服务器等物理资源。它封装了一些重要信息，如内存/存储器的容量、处理器内核列表及类型（多核机器）、虚拟机之间共享处理能力的分配策略、为虚拟机分配内存和带宽的策略等

14、9）NetworkTopology 包含模拟网络行为（延时）的信息。它里面保存了网络拓扑信息，该信息由BRITE拓扑生成器生成 10）RamProvisioner 代表为虚拟机分配主存的策略 11）SanStorage 模拟了云数据中心的存储区域网，主要用于存储大量数据，类似于Amazon S3、Azure blob storage等,CloudSim技术实现,12）Sensor 该接口的实现必须通过实例化一个能够被云协调器使用的传感器组件，用于监控特定的性能参数（能量消耗、资源利用）。该接口定义了如下方法： （1）为性能参数设置最小值和最大值。 （2）周期性地更新测量值。 （3）该类能够用于

15、模拟由主流云提供商提供的真实服务 13）Vm 模拟由主机组件托管和管理的虚拟机 14）VmAllocationPolicy 代表虚拟机监视器使用的调度策略，该策略用于将虚拟机分配给主机 15）VmSheduler 由一个主机组件实现，模拟为虚拟机分配处理核所用的策略（空间共享和时间共享）,提 纲, CloudSim简介 CloudSim体系结构 CloudSim技术实现 CloudSim的使用方法 CloudSim的扩展,环境配置,1）JDK安装和配置 http:/ FilesJavajdk1.6.0_24。设置环境变量：新建系统变量JAVA_HOME，变量值设为JDK安装目录，即C:Prog

16、ram FilesJavajdk1.6.0_24；在Path中加入路径%JAVA_HOME%bin；在ClassPath中加入路径%JAVA_HOME%libdt.jar; %JAVA_HOME%libtools.jar 2）CloudSim安装和配置 从http:/www.cloudbus.org/cloudsim/下载CloudSim，本书以CloudSim2.1.1为例。将其解压到磁盘，例如C:cloudsim-2.1.1。设置环境变量：在ClassPath中加入路径C:cloudsim-2.1.1jarscloudsim-2.1.1.jar; C:cloudsim-2.1.1jarsc

17、loudsim-examples-2.1.1.jar,运行样例程序,1）样例描述 C:cloudsim-2.1.1examples目录下提供了一些CloudSim样例程序，每个样例模拟的环境如下： （1）CloudSimExample1.java：创建一个一台主机、一个任务的数据中心 （2）CloudSimExample2.java：创建一个一台主机、两个任务的数据中心。两个任务具有一样的处理能力和执行时间 （3）CloudSimExample3.java：创建一个两台主机、两个任务的数据中心。两个任务对处理能力的需求不同，同时根据申请虚拟机的性能不同，所需执行时间也不相同 （4）CloudS

18、imExample4.java：创建两个数据中心，每个数据中心一台主机，并在其上运行两个云任务 （5）CloudSimExample5.java：创建两个数据中心，每个数据中心一台主机，并在其上运行两个用户的云任务 （6）CloudSimExample6.java：创建可扩展的仿真环境 （7）CloudSimExample7.java：演示如何停止仿真 （8）CloudSimExample8.java：演示如何在运行时添加实体 （9）network：包含网络仿真的例子 （10）power：包含演示CloudSim power-aware特点的例子,运行步骤,2.运行步骤（ Eclipse中执行

19、） （1）首先启动Eclipse主程序，在Eclipse主界面上选择FileNewProject命令，打开“New Project”窗口（如图9-9所示），新建一个工程 （2）选择“Java Project”，单击“Next”，创建一个Java工程 （3）填写Java工程的名称，取消选择复选框“Use default location”，浏览CloudSim源代码所在的目录，并选定该目录 （4）单击“Next”按钮，显示Java工程的配置界面，该界面的选项卡包括源代码、工程和库等信息 （5）单击“Finish”按钮完成创建Java工程的工作 在Eclipse的主界面上，选中一个实例的源代码，这

20、里选择CloudSimExample3，然后单击运行 程序的运行结果,提 纲, CloudSim简介 CloudSim体系结构 CloudSim技术实现 CloudSim的使用方法 CloudSim的扩展,调度策略的扩展,1. 顺序分配策略 新写一个方法bindCloudletsToVmsSimple()，用于把一组任务顺序分配给一组虚拟机，当所有的虚拟机都运行有任务后，再从第一个虚拟机开始重头分配任务 2. 贪心策略 为DatacenterBroker类再写一新方法bindCloudletsToVmsTimeAwared ()，该方法采用贪心策略。定义一个矩阵timeij，表示任务i在虚拟机

21、j上所需的执行时间。在初始化矩阵time前，首先将任务按MI的大小降序排序，将虚拟机按MIPS的大小升序排列 贪心策略：从矩阵中行号为0的任务开始，每次都尝试分配给最后一列对应的虚拟机，如果该选择相对于其他选择是最优的，就完成分配，否则将任务分配给使当前结果最优的虚拟机。同时，如果有多种分配方法都能使当前结果最优，则将任务分配给运行任务最少的虚拟机 源代码可在http:/的教材板块下载！,仿真核心代码,1.仿真步骤 （1）初始化CloudSim包 （2）创建数据中心 （a）创建主机列表 （b）创建PE列表 （c）创建PE并将其添加到上一步创建的PE列表中，可对其ID和MIPS进行设置 （d）创

22、建主机，并将其添加到主机列表中，主机的配置参数有ID、内存、带宽、存储、PE及虚拟机分配策略（时间或空间共享） （e）创建数据中心特征对象，用来存储数据中心的属性，包含体系结构、操作系统、机器列表、分配策略（时间、空间共享）、时区以及各项费用（内存、外存、带宽和处理器资源的费用） （f）最后，创建一个数据中心对象，它的主要参数有名称、特征对象、虚拟机分配策略、用于数据仿真的存储列表以及调度间隔,仿真核心代码,（3）创建数据中心代理 数据中心代理负责在云计算中根据用户的QoS 要求协调用户及服务供应商和部署服务任务 （4）创建虚拟机 对虚拟机的参数进行设置，主要包括ID、用户ID、MIPS、CP

23、U数量、内存、带宽、外存、虚拟机监控器、调度策略，并提交给任务代理 （5）创建云任务 创建指定参数的云任务，设定任务的用户ID，并提交给任务代理。在这一步可以设置需要创建的云任务数量以及任务长度等信息 （6）在这一步调用自定义的任务调度策略，分配任务到虚拟机 （7）启动仿真 （8）在仿真结束后统计结果,仿真核心代码,2. 详细实现代码 下面通过注释的方式讲解贪心策略的仿真核心代码，在org.cloudbus.cloudsim. examples包中新建类ExtendedExample2，实现代码详见教材！ 3. 运行结果分析 基于贪心策略的仿真结果 基于顺序分配策略的仿真结果,平台重编译,Cl

24、oudSim平台重编译主要通过Ant工具完成 -从http:/ant.apache.org/下载Ant工具，本书使用的版本为1.8.2。将其解压到目录C: apache-ant-1.8.2 -设置环境变量，在Path中加入C:apache-ant-1.7.1bin。将命令行切换到扩展的CloudSim路径（build.xml所在目录），在命令行下输入命令C: cloudsim-2.1.1ant，批量编译CloudSim源文件，生成的文件会按照build.xml的设置存储到指定位置，编译成功后自动打包生成cloudsim-new.jar并存放在C:cloudsim-2.1.1jars -扩展的C

25、loudSim平台生成后，在环境变量ClassPath中增加路径：C:CloudSimjarscloudsim-new.jar。然后根据前面介绍的步骤，即可在新的平台下编写自己的仿真验证程序,1总结CloudSim的功能及其应用场景。 2与SimJava相比，简要说明CloudSim核心模拟引擎新增了哪些功能。 3CloudSim层被细分为五层，试总结每一层提供的功能。 4详细阅读CloudSim技术实现一节，总结有哪些类提供了自定义调度接口，并对该类的功能进行概述。 5任选3个CloudSim样例程序运行，并对输出结果进行分析。 6尝试扩展CloudSim，实现一个自定义的调度算法，并在扩展平台下对算法性能进行测试和分析。,习题,阅读精选,1 CloudSim: A Framework for Modeling and Simulation of Cloud Computing Infrastructures and Services http:/www.cloudbus.org/cloudsim/ 2 CloudSim论坛资料 http:/ 3 CloudSim google讨论组 http:/ 谢！,http:/,