[互联网]SAN网络存储整合方案v20.doc

《[互联网]SAN网络存储整合方案v20.doc》由会员分享，可在线阅读，更多相关《[互联网]SAN网络存储整合方案v20.doc（47页珍藏版）》请在三一文库上搜索。

1、目录1.SAN网络整合需求分析31.1 SAN网络整合方案背景31.2 辽宁移动网管SAN网络现状31.3 SAN网络整合需求52SAN网络方案设计52.1 SAN网络整体架构设计52.2 SAN网络分级架构设计72.2.1 Back Bone to Edge Routing72.2.2 Inter-Switch Link82.3 SAN网络连接原则92.4 SAN网络安全划分102.5 SAN网络路由设计122.5 SAN网络NPIV设计122.6 Virtual Fabric网络设计142.6.1 VF0路由区域划分142.6.2 VF1核心数据库区域划分142.6.3 VF2 OA财务区

2、域划分152.6.4 VF3应用服务区域划分162.6.5 VF4备份资源区域划分162.6.6 VF5存储资源区域划分172.6.7 Edge Fabric区域划分172.7 SAN网络扩展设计182.7.1导向器端口板扩展182.7.2导向器串接扩展192.7.2 SAN边缘扩展202.8 SAN远距离扩展容灾设计212.8.1业务连续性解决方案212.8.2光纤线路212.8.3远程连接选择222.8.4线路冗余232.9 FCIP远距离容灾扩展设计242.10 SAN网络优化管理设计242.11 iSCSI网络设计263存储资源池需求分析273.1 辽宁移动网管存储设备现状273.2

3、辽宁移动网管存储资源池需求284存储资源池架构方案设计284.1 存储资源池基础架构284.1.1物理层面294.1.2逻辑层面294.2 存储资源池分级设计314.2.1数据等级分级设计314.2.2数据生命周期设计324.2.3数据备份分级设计334.3 存储资源动态扩展设计344.3.1 Volume Manager扩展354.3.2 Virtual Provisioning扩展354.4 存储资源快速部署设计354.5 存储资源实时保护设计364.6 测试区存储架构设计375附件385.1 附件1 存储资源池测试说明385.1.1测试目的385.1.2测试案例385.2 附件2 存储资

4、源池验收说明405.2.1验收标准405.2.2验收内容405.2.3交付文档415.3 附件3 存储资源池培训建议课程415.3.1 Brocade Certified Fabric Professional415.3.2 Exchange 和 SQL Server 在 CLARiiON的集成435.3.2 CALRiiON性能工作室441.SAN网络整合需求分析1.1 SAN网络整合方案背景实用计算的出现，即以“按需使用”为基础配置信息系统和服务，要求数据中心及其存储联网基础设施进行相应的改进，以实现实用计算的优势。对于SAN, 这就意味着进行前所未有的大规模整合，并通过存储及网络虚拟化方

5、面的改进提高可管理性。当今的数据中心SAN可将存储资源整合并分配给一系列运行着高级应用的服务器。 SAN 也可以部署为组织机构的共享基础设施，如业务部、部门或园区。在数据中心， 采用 SAN 的用户正在向一种新的存储模式移植，利用这种实用模式，存储资源也可以像电力、网络服务和冷气一样以“按需使用”的方式供应和使用。 但是，许多大型数据中心通常有几个SAN，每个用于支持不同的应用或机构需求。在这些环境中，SAN一般在彼此之间或与企业中的工作组和中型系统并不集成，主要原因是，并非企业中的所有部门或工作组均需要共享所有的数据，因此，尽管 SAN 从理论上能够扩展到几千个节点，但实际上这种情况很少发生

6、。拥有大量节点的数据中心通常包含多个相互独立的SAN。鉴于上述原因，存储管理对当今的 SAN 管理员构成了巨大的挑战。如何将多个SAN孤岛连接到一起进行数据互通，如何保障连接在一起的交换机不受到广播风暴的影响，如何对众多的交换机进行统一的管理，在今后的业务发展中如何对SAN网络进行快速的扩展部署，如何实现SAN架构的容灾模式，成为当前SAN网络整合中所面临的几大重要问题。1.2 辽宁移动网管SAN网络现状在辽宁移动网管中心中已经存在了完整的SAN架构网络，其由1台Brocade 4900B 64口交换机和2台Brocade 4100B 32口交换机组成端口冗余的网络架构。2台32端口交换机相当

7、于1台64口交换机，所有的服务器与存储设备能够通过这3台交换机设备实现线路的冗余。其上连接了大约30套应用系统，以及DMX3、CX500、EVA4000等存储设备，端口占用情况比较紧张，目前大约占用94端口，剩余34端口左右。光纤交换交换机概况：光纤交换交换机提供厂商已使用端口速率DOMAIN ID备注博科64PORTEMC504GB/S1博科32PORT(up)HP214GB/S3博科32PORT(down)HP234GB/S2博科64PORT04GB/S新到货表1.2-1另外还有1台新到货Brocade 4900B 64口交换机总共是2台64口，2台32口交换机。以上现状表明辽宁移动网管系

8、统的SAN网络现状目前面临着几个待解决问题：1、端口不足，目前剩余34端口，无法满足今后GEDC项目中大量新增业务系统的接入需求。2、在今后的扩展中只能以添加边缘交换机的方式扩展，交换机之间的连接只能采用交换机自身的端口设置为Eport端口连接，在数据交换需要跨交换机访问时造成带宽资源紧张。3、SAN网络已经部署为端口冗余方式，端口数量大约在64个，但无法对SAN网络进行逻辑隔离，当某一个节点出现故障时如果触发广播风暴将影响整个SAN网络的运行性能与状态。4、交换设备过多而没有统一的管理，为管理者带来管理效率问题。5、数据中心机房存在单点故障，当机房故障没有容灾SAN架构接管业务。1.3 SA

9、N网络整合需求通过对辽宁移动网管SAN网络架构的现状分析，以及其目前所面临的几个问题得出用户需求，用户需要对现有的SAN架构进行改造。1、需要实现SAN架构系统的全面整合，实现系统的虚拟化要求。2、能够在统一的架构下分离不同的业务系统，使各业务系统独立自制并且隔离不同业务系统之间的广播干扰。3、能够按业务系统对存储系统进行访问，不同的业务系统访问相应的存储。4、在业务量剧增时可以在不影响业务的情况下对现有SAN网络快速扩展。5、在未来本机房可能会作为沈北数据中心的容灾机房，SAN架构需要具备扩展容灾能力。2SAN网络方案设计2.1 SAN网络整体架构设计在辽宁移动GEDC项目中SAN架构设计方

10、面，我方建议采用core-edge 核心-边缘的架构设计方式。采用2台导向器级别的SAN交换机替换现有的1台64口与2台32口交换机组成的冗余模式架构，作为整个网管系统的核心，整合所有的业务主机、存储系统及带库。整合后的系统结构简单，集中度更高，可减少管理的复杂度并提升业务的运行水平。在架构设计方面要求所有的部件都是冗余的，包括核心交换机，核心交换机端口卡、核心交换机内的Virtual Fabric，边缘交换机、存储阵列的前后端控制器、磁盘、磁带库驱动器、服务器HBA卡、光纤链路。以达到整个SAN网络架构99.999%的高可用性。在本次项目中使用中高端存储、交换、备份设备，要求每台设备自身的高

11、可用性可达到99.999%。总体架构图如下：图2.1-1在核心交换区内要求SAN导向器为板卡式设计具备强大的扩展功能，可以从简单的32口升级到300端口以上的扩展能力，并且可以在Core板上支持Inter-Chassis Link的扩展端口用于集联另一台SAN导向器扩展为700端口以上。SAN导向器支持NPIV（N_PortIDVirtualization）功能，由于GEDC的计算资源池中存在大量虚拟主机，而当虚拟主机的单盘容量大于50GB左右的时候最佳方式是为其建立基于裸设备的磁盘影射，因此要求导向器具备NPIV功能能够将，单个光纤端口虚拟成多个独立的端口，为每个连接到该物理端口的不同类型操

12、作系统提供独立的端口标识。SAN导向器应具备Virtual Fabric功能，能够将一台导向器划分为多个虚拟的FC交换设备。每个Virtual Fabric具备独立管理的Domain根据应用层次，可根据应用层次、服务水准或操作系统划分管理区域。可以实现分区管理以及故障隔离，当某一个Virtual Fabric中发生故障可以隔离不同virtual fabric间的广播风暴。并且可以将不具备Virtual Fabric功能的交换机在不间断业务的情况下连接到VSAN中。SAN导向器应具备路由功能，可以在不中断业务，不更改交换机Domain ID和Zoning配置的情况下将多个SAN孤岛连接在一起，并

13、通过LSAN的方式使其之间能够按需求端口互通访问。导向器可以添加长波端口板与FCIP端口板，用于远程容灾设计的使用。通过以上整体架构设计，我方建议在本次辽宁移动GEDC项目中新采购的128端口SAN导向器可以划分6个Virtual Fabric环境，其中VF0作为Base, 相当于SAN路由器，不连接任何设备，只负责连接其他virtual fabric。核心生产区、应用服务区、OA及财务区分别为VF1-VF3的virtual fabric用来连接业务系统。VF5为生产存储区，将所有在线业务存储系统连接到这个区域，如果需要这个区域的端口将分布在所有端口板上。将相关联的业务主机以及与其相关的存储设

14、备端口划分在同一块端口卡内，VF5中的存储设备按需求分别连接到各自业务系统的virtual fabric上，实现与业务系统的隔离和自治、互通。同时各业务系统的virtual fabric又通过base与备份区VF4连通，共享备份区内的备份设备，备份区内连接备份服务器、VTL虚拟带库以及PTL物理带库。其他边缘系统如测试开发区、安全管理区可以利旧原有64和32端口交换机使用SAN导向器中的Routing功能，串接到SAN导向器中通过划分LSAN的方式使其能够将数据备份到备份区VF4中。单臂SAN环境拓扑图：图2.2-12.2 SAN网络分级架构设计在本期GEDC项目中的SAN架构采用物理与逻辑分

15、级设计，物理分级即在SAN网络架构中采用Core-edge核心-边缘的方式，采用SAN导向器作为核心交换机，其他利旧或者新购的小型SAN交换机串接在它上面，使SAN网络扩展延伸下去。物理分级在SAN网络中也分为2种架构：一种为通过Routing的方式将小型SAN网络串接在SAN导向器上，另一种方式通过ISL扩展的方式将小型SAN网络融入核心交换机中的某一个VF中。本期项目中会针对于不同系统的不同访问方式分别采用这两种分级连接架构。逻辑分级即在核心SAN导向器内部划分多个Virtual Fabric，将不同的业务系统区域逻辑分开，隔离不同Virtual Fabric间不相关业务的网络通路与广播风

16、暴。2.2.1 Back Bone to Edge Routing第一种方式叫做Back Bone to Edge Routing，其最大的优势是不需要更改接入交换机的DomainID与Zoning配置，而且SAN网络间逻辑隔离，当一个SAN网络中发生故障时不会影响其他SAN网络。劣势是交换机之间的跳数只能1跳，并且如果通过FCR做数据交互会带来一定的性能影响。BackBone是所有在SAN导向器上的端口，设备可以通过LSAN_zone从Back Bone输出到其他edge Fabric。这种SAN架构称为Mate SAN, Meta SAN中的Fabrics通过 Inter-Fabric L

17、inks (IFLs)相互连接：IFLs 在SAN路由器上为EX_Port, 在交换机上为E_Port，EX_Ports是增强的E_Port。图2.2.1-1当Edge Fabric与Core Fabric存在大数据量交互时ISL协议与Trunking功能加大带宽，实现链路的负载均衡与故障切换。本项目中，我们采用多条4GB链路聚合的方式将Edge Fabric与Core Fabric互连。所涉及的Edge Fabric为安全管理区以及测试开发区。图2.2.1-22.2.2 Inter-Switch Link第二种方式是传统的ISL扩展模式称为Cascading，在本期项目中可以将小型SAN网络

18、加入SAN导向器所创建的某一个Virtual Fabric网络中，成为其扩展端口。其优势是可以将现有的SAN网络扩展，在一个Fabric网络中最多可以连接239台交换机，最大跳数为7跳。劣势是一个SAN网络端口过多带来的管理难度与故障率增高，并且在连接新的SAN交换机时需要配置其DomainID与Zoning信息不能与核心交换机冲突。在数据量交互较大时仍然需要将多条链路聚合。本期所涉及的Cascading串接交换机为VF3中的应用服务区的刀片服务器，由于刀片服务器众多，VF3中端口分配有限，需要在刀片机笼配置SAN交换机或者配置利旧32口交换机，然后将此交换机连接到VF3中。图2.2.2-12

19、.3 SAN网络连接原则交换机本身的设计有很多考虑的因素，为了确保很好的性能，在大型的SAN交换机设计上都要评估其超载比。所谓超载比，就是每个交换机的对外部端口和对内端口的比值。当然，为了确保性能，最好是具有1:1的超载比，才能确保性能充分发挥。但是，某些产品设计时为了降低成本，往往采用2:1到4:1的超载比，从而在复杂的环境下造成不可预知的性能瓶径。为了最大限度的确保性能，在SAN网络设计中还有一个很重要的原则本地化设计。所谓本地化，就是主机要访问的存储和主机尽可能连接到同一个交换机或者端口卡上，从而实现本地交换机内部交换。在简单网络环境中，本地化设计比较容易实现；但随着网络复杂性的提升，本

20、地化基本上不可能实现。在SAN网络设计中，一般遵循的原则是：尽可能确保主机到存储的访问路径具有一致的跳跃数。在本期的SAN网络设计中相关联的主机与存储设备都将处于SAN导向器中同一块端口卡中，确保生产数据实现本地内部交换，在SAN导向器端口卡内部可以实现1:1的全双工超载。例如：核心生产区的业务主机部署在VF1区，连接在端口卡1上，DMX、EVA存储分配给这套系统得存储LUN部署在VF2区，但端口同样连接在端口卡1上。这样虽然VF1与VF5互通需要routing功能，但保证数据流在一块卡内。超载比仍然为1:1。利旧的边缘交换机上同样将部署业务相关的主机与存储设备。只有当业务主机进行LANFre

21、e备份时会通过Routing功能跨背板进行数据传输。但备份作业一般在业务不繁忙的夜间进行，因此不会给业务系统带来压力。图2.3-12.4 SAN网络安全划分分区是在存储区域网络中聚合需要沟通的主机和存储节点的fabric服务 。分区造成一种只有当他们的成员，在同一区域时节点可以互相沟通的情形。当你在一个SAN使用分区时，节点可以是多个区域的成员，这体现了很大的灵活性。 分区不仅阻止主机免受未授权的存储资产访问，而且可以停止不受欢迎的主机到主机的通信和全fabric的注册状态变更通知（ RSCN ）的中断 。连接主机到存储是一个SAN的最基本的功能。对于大多数存储阵列来说，该存储空间的单位是逻辑

22、单元号（ LUN ），多个LUNs被映射到阵列的光纤通道（ FC ）端口上。目前，分区几乎总是用来组合存储端口和主机。分区允许主机访问某个存储阵列特定端口上的所有LUNs。 LUN masking可以经由HBA卡或更常见的存储阵列执行，确保被授权的主机能有权使用仅仅被每个存储端口提出被定义的一组LUNs。 虽然LUN masking可专门用于映射LUNs到主机，但是在fabric中会使每个主机暴露在每个危及稳定的RSCN上。分区和LUN masking相结合，提供了两个层次的安全，即使当其中一层被错误配置时，也可防止对一个LUN的不适当访问。 因此在SAN网络中始终实施分区，不论是否使用LUN

23、 masking。在分区类型中存在两种分区： 端口万维网名称（pWWN）和域名，端口（D，P）。内置于存储和主机接口的pWWN识别使用全局唯一标识符，对于所有fabric，唯一的识别方法是独一无二的pWWN。pWWN识别比D，P识别可以更安全，因为物理上被电缆连接到端口的任何设备可以不适当地准许存储存取未经授权的主机。包括在使用光纤通道路由FCR时，同样适用PWWN识别。建议在安全和业务的一致性上，使用pWWN识别分区。 对某一分区配置有很多方法可以把SAN主机和存储节点分组。区域成员首先有基于一个主机访问存储端口的需要。主机彼此之间很少需要直接互动，且存储端口由于其作为目标的本性从未发起SA

24、N交通。区域可以由阵列，由主机操作系统，由应用，或由在数据中心之内的位置分组。在大多数情况下，所有这些方法推荐给上文所述的原因。 建议的分区分组方法是单个启动程序分区（SIZ ） ，有时被称为“单HBA的分区。 ” 与SIZ ，每个区域只有一个单独的HBA卡和一个或多个存储端口。如果HBA卡都连接磁盘和磁带存储设备，那么你需要创建两个区域：一个带HBA卡和磁盘设备的区域和第二个带HBA卡和磁带设备的区域。SIZ是最佳的，因为它可以阻止任何主机到主机的互动和限制RSCNs只到在RSCN内包含所需信息的正确区域。如下图所示：图2.3-1当一块HBA连接存储与带库时我们按照SIZ方式划分为2个zon

25、e区域，由上图可见HBA在Switch中的端口分别属于Zone1和zone2。分离磁盘和磁带设备到单独的区域防止磁盘RSCNs冲击磁带设备，这往往是更敏感的RSCNs 。虽然这一级别的分区似乎可能比减少颗粒分组方法更劳力密集，但对于SAN它奠定了最好的基础，并最终将增加正常运行时间和减少故障检修所需的时间。2.5 SAN网络路由设计由于本期项目的SAN网络过于庞大，无法在一个Fabric中实现所有计算、存储、备份设备的互联，因此需要对SAN架构划分多个Virtual Fabric的方式将不相关的SAN区域分开，每个virtual fabric相当于一台独立的交换机，互相没有联系，将不同的设备连

26、接到不同virtual fabric上即加入了相应的virtual fabric。然后通过Routing的方式将多个VF以及edge Fabric连接在一起，共享备份设备。设备之间通过LSAN_zone方式互联，但为了保证VF之间、Core Fabric与Edge Fabric之间无关系统的隔离，需要对SAN路由作详细设计。1、确保各个生产区VF之间的主机与存储不互通，确保测试开发区的主机与生产区的主机及存储不互通。2、保证每个生产区VF的主机可以与备份区VF4的VTL和物理带库互通，以实现LANFree备份。3、确保开发测试区的主机和备份区VF4的VTL和物理带库互通，以实现将历史数据恢复到

27、开发测试区用于测试研发。4、必要时各个生产区的存储可以与开发测试区的存储互通，将数据由存储设备直接推送到开发测试区存储上，用于测试。5、必要时各个生产区的主机可以与开发测试区存储互通，用户数据拷贝恢复。2.5 SAN网络NPIV设计N_PortIDVirtualization(NPIV)将单个光纤端口虚拟成多个独立的端口，为每个连接到该物理端口的不同类型操作系统提供独立的端口标识（对每个操作系统看起来就像有自己独立的物理端口一样）。NPIV分配一个独立的virtualportID给每个光纤通道协议设备。它允许你去分配虚拟地址而不影响现有连接和设备。虚拟端口有与N_port相同的属性，因此能够提

28、供Fabric相关的所有服务。 每个NPIV设备有独立的devicePID,PortWWN,和NodeWWN，执行同Fabric中其他端口相同的功能。也就是说，NPIV虚拟出的多个virtualdevices与连接在非NPIV端口的普通设备无异，zone配置对于NPIV端口和非NPIV端口也没有区别，能够根据domain和port符号，或WWN，或两者兼有的方式划分。对于完全由virtualN_PortID构成的Zone，必须使用WWN-Zone。因为对于NPIV端口如果使用harddomain_id,Port)zone，并且所有的virtualPID使用的端口被配置在该Zone中，那么por

29、tlogin(PLOGI)到一个不存在的virtualPID是不被block的，相当于FLOGI被发送到NPIVport连接的设备。如果这个设备不能处理这种异常的PLOGI信号，就应该使用WWN-basedzoning。在本期辽宁移动GEDC项目中存在大量刀片服务器，每台刀片机种大约分配5台左右的虚拟机。当这些虚拟机需要连接存储资源池中的LUN时，需要通过虚拟机的虚拟端口影射到刀片机笼的内联FC端口，再通过外联FC端口连接到SAN导向器上识别存储资源池中的LUN。在虚拟机LUN需求超过75GB时，建议采用LDM方式，通过NPIV连接存储上的LUN。再通过Zone分区的方式将多个NPIV逻辑上分

30、离，保证单一主机到单一存储LUN的访问。连接拓扑图如下：图2.5-1NPIV配置：使用portCfgNPIVPort打开和关闭port的NPIV功能。如下是一个具体的案例(Brocade5100port10): switch:adminportCfgNPIVPort10,1同时考虑到虚拟机内各业务系统的重要程度不同，应可利用交换机端的数据流控制机制，实现I/O流量的控制管理。指定数据流传输的优先级别,可以将NPIV连接线的内部划分成高，中，低三个优先级别，高优先级获得最高的带宽，而低优先级别获得最低的传输带宽。有了这些数据流控制机制，客户可以很好的分配和利用带宽资源，为应用程序服务，例如虚拟机

31、SQL数据库为核心业务，划分为高优先级，而文件归档等则为低优先级应用，这样，在业务流量最繁忙以至于达到瓶颈时，高优先级别的业务获得了更多的传输带宽，保证了高优先级别业务的服务水准。图2.5-22.6 Virtual Fabric网络设计 在Virtual Fabric网络设计中，我们参见图2.3-1，划分为VF0-VF5，6个Virtual Fabric网络，以及edge Fabric网络。以下我们分别对这几个VF在实际环境中的部署作分别阐述。2.6.1 VF0路由区域划分VF0作为Base, 相当于SAN路由器，不连接任何设备，只负责连接其他virtual fabric, 并且隔离不同vir

32、tual fabric间的广播风暴。它包含SAN导向器中所有需要交互端口。2.6.2 VF1核心数据库区域划分本期计划为VF1核心数据库区划分1个端口板32端口中的16端口，连接NMC数据库2台SUN E6900、TDDB NPMDB 集群数据库4台SUN E4900、XNGDB 1台SUN V890、bpmapp01，1台SUN V4800、TeMIP 4台HP服务器集群。连接主机见下表：核心生产主机表：Solaris+Veritas LVME6901/E6902SUN E6900NMC数据库(ORACLE 9i RAC)SolarisE4901(sun cluster)SUN E4900T

33、DDB(ORACLE 9i HA)E4902(sun cluster)SUN E4900NPMDB(ORACLE 9i HA)E4901(sun cluster)SUN E4900TDDB(ORACLE 9i HA)E4902(sun cluster)SUN E4900NPMDB(ORACLE 9i HA)xngserverSUN V890XNGDB(ORACLE 10g)HP UXtemip1,temip2,temip3,temip4 TeMIP有表可见总共大约11台服务器占用11个端口(包括TeMIP HP主机Npart)。VF1还具备5端口的扩展能力，在近期内能够充分满足用户对核心数据库

34、区的扩展需求。2.6.3 VF2 OA财务区域划分VF2区划分系统为OA以及财务，划分1块32端口板中的24端口，连接主机见下表。OA系统主机表：SUN Solarisbpmapp01/bpmdb01SUN V4800bpmapp01/bpmdb01WindowsArchive2HP DL380OA档案系统Archive3/4HP DL580OA档案系统Archive3/4HP DL580OA档案系统EPM1/2HP DL580EPMElearningHP DL580ElearningHP UXUIPORACLE/UIPPORTALHP RP4440UIPORACLE/UIPPORTALOVS

35、A1/OVSA2HP RP4440OVSA1/OVSA2HP UXArchive1HP RX4640OA档案系统Documentum/MAXIMO1/MAXIMO2HP RP4440Documentum/MAXIMO1/MAXIMO2WindowsDocBack1/DocBack2HP DL580公文后端1,2,3,4OASQL1HP DL580OA SQL SERVERWindowsDocBack3/DocBack4HP DL580公文后端1,2,3,4OASQL2HP DL580OA SQL SERVERWindowsNMC4IBM X440SQL SERVER2000NMC5/NMC6I

36、BM X440EXCHANGENMCA3D9SVR1/NMCA3D9SVR2EXCHANGENMCA3D9SVR1/NMCA3D9SVR2SQL SERVER 2005 (SQL3)NMCA3D10SVR1/NMCA3D10SVR2SQL SERVER 2005 OLAP由此表可见大约在OA系统与财务系统中存在20台左右服务器需要连接存储LUN，占用端口大约20个，这样VF-2区内共占用端口大约20个，剩余4个左右端口供用户扩展。2.6.4 VF3应用服务区域划分VF3区域为应用服务区，此区域划分1块端口卡中的32个端口中的24端口，此区域连接应用服务区的3组刀片机笼48台刀片服务器，由于刀片

37、机笼中配置SAN交换机，SAN导向器可以将刀片机笼中的SAN交换机加入到VF3区内成为VF3区内的一部分，因此不需要为其配置过多的端口，每台机笼内SAN交换机可通过8条8GB光纤通过ISL协议连接到SAN导向器中的VF3区内，自动实现链路聚合。（如需要实现负载均衡则需要添加Trunking License）。3组机笼占用VF3 24个端口，每组机笼可具备64Gb带宽，每台服务器4Gb带宽，如果每台刀片服务器虚拟5台虚机则每台虚机可分配80MB带宽，基本满足业务需要。VF3中共占用大约24端口，目前没有扩展能力，但可通过增加端口板或者添加边缘交换机扩展VF3。如果刀片机笼没有配置SAN交换机，则

38、需要利旧原有的3台32端口交换机，刀片服务器连接32口Brocade 4100B交换机，在通过4100B中8条4GB光纤通过ISL协议连接到SAN导向器中的连接到VF3中。在VF3中大量应用服务器以虚拟机的形式存在，因此要求涉及连接的所有交换机都支持NPIV的划分方式。在虚拟机不存在大数据量时采用传统的LUN映射、Zone划分方式将LUN分配给EXSserver，EXSserver将虚拟机的映像文件VMDK存储在LUN中。当虚拟机需要的存储空间大于75GB时，建议直接将LUN映射给虚拟机采用LDM的方式，利用交换机NPIV技术使虚拟端口和LUN仍然实现单个启动程序分区SIZ的方式。2.6.5

39、VF4备份资源区域划分VF4区为备份区，此区域内划分2台备份服务器，1台VTL虚拟带库设备，以及1台利旧8驱动器的HP EML245E磁带库，其中备份服务器每台需占用1个FC端口，EML245可以将8个驱动器分别连接到2台SAN导向器中的VF4区中，因此每台SAN导向器占用4端口，机械手占用1端口，虚拟带库按每交换机4端口计算，则备份区VF4区内占用大约11端口。VF1-VF3生产环境的Virtual Fabric通过VF0 Base Virtual Fabric Rounting功能与备份区互通，设置交换机的LSAN，将相关的设备分配到相应的LSAN Zone中。以Brocade交换机为例，

40、执行以下命令：zonecreate lsan_stn#_w2k_hdsB, stn#_w2k; stn#_hdsB。然后将它们加入到config中。cfgAdd “config1”, “lsan_stn#_w2k_hdsB; ”将生成的config激活并保存。cfgEanble “config1”2.6.6 VF5存储资源区域划分VF5区划分为存储资源池，VF5划分原则为横跨所有会与存储资源池有数据交互的VF计算资源区所存在的端口板上。保证相关的业务计算区主机与存储资源池中分配的LUN影射端口处于同一块端口板上。VF1-VF3计算资源区的VF同样通过VF0 Base Virtual Fabri

41、c Rounting功能与存储资源区互通，设置交换机的LSAN，将相关的设备分配到相应的LSAN Zone中。本项目中计划为VF5分配端口板1中的16端口，端口板2中的8端口，端口板3中的8端口。总共32端口。在本项目中核心生产区的存储设备DMX3配置2个控制器，每控制器8个前端端口，设计连接到VF5区中的端口卡1上。TIMP系统所使用的EVA4000磁盘阵列配置2个控制器，每控制器4个前端端口，设计连接到VF5区中的端口卡1上。存储资源区占用端口板1 12端口。新增的CX4磁盘阵列建议配置2个控制器，每控制器8个前端端口，设计连接到VF5区中的端口卡2和3上。为OA、财务、应用服务系统的服务

42、器提供存储空间。将占用2和3端口板各4个端口。存储资源区共占用20端口，剩余12端口。以上Virtual Fabric的划分建议仅仅根据我方对现有设备架构理解制定，在实际实施环境中可以按照Virtual Fabric网络中端口扩展灵活性，动态的添加端口。可以按照现有实际端口使用数量划分每一个VF的端口数量，剩余端口可以在今后的扩展中按需求随用随加。2.6.7 Edge Fabric区域划分Edge Fabric区域主要是用于核心交换机连接边缘交换机用于扩展核心交换机的端口扩展能力。由于本期SAN导向器配置128端口，通过以上划分的6个VFabric剩余16个端口，如果采用随用随加的方式，SAN

43、导向器大约剩余30-40端口，但建议这些端口为系统升级保留。因此其他区域需要以边缘的模式，通过Routing连接到SAN导向器中。本期计划利旧2台32口4100交换机连接安全管理区自盘阵列与服务器设备，同过Routing功能使其能够识别VF4区内的VTL与磁带库进行LANFree备份。由于仅仅通过Rounting功能进行数据备份，因此32口4100B交换机不需要太多端口连接到SAN导向器，建议采用2-4条链路。由于安全管理区内服务器与存储设备数量不多，这部分空余的交换机端口可作为近期内新增的其他系统使用。由于测试区要求存储、备份设备要与生产区物理分开，因此在测试区我方建议利旧传输网管下线的1台

44、HP EVA4000作为主存储设备，利旧ADIC i500磁带库作为备份设备。利旧2台4900B 64口交换机作为测试区的核心交换机通过Rounting功能连接到SAN导向器中。在测试区交换机与核心SAN导向器间的路由原则为，通过LSAN的划分，使测试区与VF4备份区互通，这样可以保证备份服务器可以将核心区备份的数据恢复到测试区进行测试、开发。使VF1、VF2、VF3中的EMC存储设备可以与测试区的存储HP EVA4000互通，这样可以利用Open Replicater与SANcopy功能将数据发送到测试区阵列进行测试。在必要时可以使生产端主机看到测试区存储，但不允许测试区主机与生产端存储互通

45、。严格符合SAN网络路由设计中所提要求。2.7 SAN网络扩展设计 为了保证在今后的业务发展GEDC数据中心要求SAN网络可以实现基本无限制的扩展延伸，以达到更多服务器与存储设备的接入，适应GEDC机房的健康成长与快速部署。SAN网络的扩展方式基于其扩展环境的不同可以通过多种手段实现。主要可分为交换机内部扩展、交换机互联扩展、数据中心互联扩展等。2.7.1导向器端口板扩展导向器端口板扩展是在用户在业务发展初期为了在现有的SAN架构中联入更多的系统，而在初期阶段SAN导向器内部具备空余的扩展插槽。端口板扩展在近期内最适用于本项目为了联入更多系统而采用的SAN扩展方式。本次项目中采购的导向器端口为

46、128端口，4块32口端口板，还应剩余4个左右的端口板，可以扩展为32端口或者48端口从而达到128或者192端口的扩展能力。在VF网络设计部分我方建议将Core Fabric分为0-4，5个Virtual Fabric，新增的端口板可以加入原有的VF内，也可以单独组建VF。通过添加板卡的方式是SAN网络扩展中最简单，最快捷的方式。如下图所示，在现有环境下右边部分配置添加端口卡。图2.3.1-12.7.2导向器串接扩展导向器串接扩展是在用户的业务系统在短期内急速扩展，1台数百端口的导向器也不能满足其SAN网络扩展的要求时使用。导向器之间的互联可以采用Core板上的核心互联端口ICL进行互联。要

47、求SAN导向器具备足够的互连带宽，满足串接后的两端业务互通访问。以Brocade DCX为例：双机箱串联配置可以达到13 Tbit/sec 聚合带宽，768个通用FC端口，2 个domain；每个机箱4 个特殊的ICL 端口 (铜针) 来进行机箱的互连，每个ICL端口包含16个8G FC连接，总共1.1 Tbit/sec集合带宽，ICL保留128个8G E_port来连接两个机箱。如下图所示：图2.3.2-12台DCX串接后，通过Virtual Fabric互通。实现步骤如下：1、第一台DCX上线时已经配置了Default Switch包括所有的端口，Default Switch自动分配1个保留的FabricID FID为128。 2、根据VF配置划分已经配置VF1-VF4，4个Virtual Fabric，并且将所需要的端口分别分配给每一个VF。分配好的端口将从Default Switch中移出。 3、将Core板中