1、NetApp技术报告在MicrosoftWindowsServer2012Hyper-V中部署的FIexPodExpress实施指南NetApp公司GlennSizemorexMichaelZimmermanxDavidKlemxChrisReno、MichaelAnsel2013年6月ITR-4137目录1概述52受众53架构53.1 小型配置53.2 中型配置64硬件详细信息64.1 小型配置64.2 中型配置65软件详细信息76配置实施准则77 FIexPodExpress布线信息77.1 小型配置布线图77.2 小型配置布线表87.3 中型配置布线图97.4 中型配置布线表108 Ci
2、scoNexus3048部署流程128.1 CiscoNexus3048交换机的初始安装128.2 软件升级(可选)138.3 功能138.4 全局Port-Channel(端口通道)配置138.5 全局Spanning-Tree(生成树)配置138.6 巨型帧148.7 VLAN定义148.8 访问和管理端口描述148.9 服务器和存储管理接口配置158.10 虚拟端口通道(VirtualPortChannel,vPC)全局配置158.11 存储端口通道168.12 服务器连接178.13 带内管理SVI配置208.14 保存配置208.15 通过上行链路连接至现有网络基础架构209 Net
3、AppFAS存储系统部署流程209.1 控制器FAS22xx系列209.2 系统配置指南219.3 分配控制器磁盘所有权和初始化存储219.4 运行设置过程239364位聚合259.6 IFGRPLACP259.7 VLAN269.8 IP配置269.9 iSCSI269.10 安装SnapManager许可证269.11 存储控制器的“主动主动”配置279.12 DataONTAPSecureAdmin279.13 安全外壳289.14 AutoSupportHTTPS289.15 安全最佳实践289.16 启用NDMP289.17 创建FIexVoI卷289.18 启用CDP2910 Ci
4、scoUnifiedComputingSystemC系列服务器部署流程2910.1 执行初始的CiscoUCSC系列独立服务器CIMC安装2910.2 配置CiscoUCSC系列RAID配置3011WindowsServer2012部署流程3311.1 登录到CiscoUCSC系列独立服务器CIMC界面3311.2 设置WindowsServer2012安装3311.3 安装WindowsServer20123311.4 安装.NETFramework3.5功能3411.5 FIexPodExpress酉己置Windows网络3411.6 安装NetAppWindowsiSCSIHostUti
5、lities3611.7 配置WindowsHostiSCSI启动程序3611.8 安装NetAppSnapDrive3711.9 安装NetAppSnapManagerforHyper-V3711.10 创建集群3812材料清单40表格目录表1)小型配置的硬件详细信息。6表2)中型配置的硬件详细信息。6表3)软件详细信息。7表4)CiscoNexus交换机1小型配置的布线。8表5)CiscoNexus交换机2小型配置的布线。9表6)CiSCoNeXUS交换机1中型配置的布线。10表7)CiscoNexus交换机2中型配置的布线。11表8)部署控制器FAS22XX系列的前提条件。20表9)小型
6、配置的组件。40表10)中型配置的组件。41插图目录图1)FIexPodExpress小型配置。5图2)FIexPodExpress中型百己置。6图3)小型配置的布线。8图4)中型配置的布线。101概述小型和中型FlexPodExpress配置是为满足中小企业需求而开发的低成本、标准化基础架构解决方案。这些配置已完成构建并经过测试,可提供经济高效、高价值且符合最佳实践的架构。每种配置都可提供一个标准化的基础平台,不仅能运行众多业务关键型应用程序,而且还能提供各种可扩展性选项,使基础架构能够随企业需求增长而进行扩展。2受众本文档介绍了小型和中型FIexPodExpress配置的架构和部署流程。文
7、档的目标受众包括但不限于销售工程师、现场顾问、专业服务人员、IT经理、合作伙伴工程师和有意部署FIexPodExpress的客户。3架构无论小型还是中型FlexPodExpress配置,均采用CiscoUnifiedComputingSystem(CiscoUCS)C系列服务器、CiscoNexus0交换机以及NetAppFAS存储系统。虽然FIexPodExpress可支持一个开放式的虚拟化和管理软件解决方案生态系统,但本文档中专门介绍的是MicrosoftWindowsServer2012o强烈建议在每个FIexPodExpress部署中使用虚拟化软件和基础架构管理软件。每种配置均采用最佳
8、实践,并在每个组件之间也采用最佳实践,以构建一个可靠的企业级基础架构。3.1 小型配置小型配置已通过MicrosoftWindowsServer2012的验证,其中包括以下组件: CiscoNexus3048交换机 CiscoUCSC220M3服务器 NetAppFAS2220存储控制器 MicrosoftWindowsServer2012图1突出显示了小型FIexPodExpress配置的物理拓扑。图1)FIexPodExpress小型配置。CisNexus30481GbE交换机CisUCSC220M3C系列(独立服务器)NetAppFAS2220A存储控制器-HA对)3.2 中型配置中型配
9、置已通过MicrosoftWindowsServer2012的验证,其中包括以下组件: CiscoNexus3048交换机 CiscoUCSC220M3服务器 NetAppFAS2240存储控制器 MicrosoftWindowsServer2012图2突出显示了中型FIexPodExpress配置的物理拓扑。图2)FIexPodExpress中型配置。CiscoNexus30481GbE交换机NetAppFAS2240A存储控制器(HA对)4硬件详细信息4.1小型配置层组件数量计算CiscoUCSC系列C220M3服务器(独立)2NetworkCiscoNexus3048交换机2存储NetA
10、ppFAS2220A(高可用性对,配有12个600GB10KSASHDD)1层组件数量好算中型配scoUCSC系列C220M3服务器(独立)4视聊v配置K糜攸泮!醐羽3048交换机2层组件数量I计算CiscoUCSC系列C220M3服务器(独立)2NetworkCiscoNexus3048交换机2存储NetAppFAS2220A(高可用性对,配有12个600GB10KSASHDD)1层组件数量5计算在MicrosOQs)Qfi疝浜洌IH碎0M欧朝粉腮P您将加SS实施指南4NetworkCiscoNexus3048交换机2存储NetAppFAS2240A(高可用性对,配有24个600GB10KS
11、ASHDD)1表1)小型配置的硬件详细信息C4口口匚*一/4二UK5软件详细信息请务必注意本文档中使用的软件版本。表3详细列出了本文档中使用的软件版本。表3)软件详细信息层组件数量I计算CiscoUCSC系列C220M3服务器(独立)2NetworkCiscoNexus3048交换机2存储NetAppFAS2220A(高可用性对,配有12个600GB10KSASHDD)1层组件数量I计算CiscoUCSC系列C220M3服务器(独立)4NetworkCiscoNexus3048交换机2存储NetAppFAS2240A(高可用性对,配有24个600GB10KSASHDD)1层组件版本或发行版详细
12、信息计算CiscoUCSC系列C220M2独立服务器1.4(7b)CIMC软件NetworkCiscoNexus3048GbE交换机5.0(3)4(1)NX-OS软件存储(小型配置)C三ncpr-1NetAppFAS2220A在7-模式下运行的8.1.1NetAppDataONTAP包软件6存再T置头施本姻幅介绍了:111AppFAS2240A!口何为FIexPodExpress单元配置一在7-模式下运行的套宪全冗余且高度可FDataONTAP软件3的配置。因此,每步操作轴晦的组件都加;储控制器,交换机绍了配置多个Cisc为了表明您应在给:请查看以下vlan的谢能编用ndb域华W制却12控制器
13、ZO做控制器2用来力NetApp三三三三ssgifcoNexus交换派席进行标识:ServWwr,就tA那瑙楙营嚼详细介浒2等最后毫稀稠髓豳卿相关的信息create命令的示例:舒:档会在命令结构controlIerlvlancreatevifvarmgmtvlan本文档旨在帮助您完整配置FIeXPodE卬ress环境。在这一过程中,各种步骤会要求您插入客户专用的命名约定、IP地址和VLAN方案。7FIexPodExpress布线信息7.1 小型配置布线图在小型配置中,每个组件上使用的每个端口都通过在一个方框中标注关联编号来指定。端口连接将通过匹配编号来确定。例如,CiscoNexus3048交
14、换机1的端口Eth11标注为“1”,该端口连接到NetAppFAS2240存储控制器1的端口ea,该端口同样标注为“1”。CIMQ 304B SlfteiiCMo NeXUS 0043 父 IMl 2QscoC220M3C不弼H立町务H1OW CZMhOC *mltM*B2NCtAFPFAS228 衣MaMBI 27.2 小型配置布线表表4)CiscoNexus交换机1小型配置的布线。本地设备本地端口远程设备远程端口|CiscoNexus3048交换机1Eth11NetAppFAS2220存储控制器1eaEth1/2NetAppFAS2220存储控制器2eaEth1/3NetAppFAS222
15、0存储控制器1ecEth1/4NetAppFAS2220存储控制器2ecEth1/13CiscoUCSC220C系列独立服务器11/1Eth1/14CiscoUCSC220C系歹J独立服务器11/2Ethl/15CiscoUCSC220C系歹J独立服务器11/3Eth1/16CiscoUCSC220C系列独立服务器21/1Eth1/17CiscoUCSC220C系列独立服务器21/2Eth1/18CiscoUCSC220C系列独立服务器21/3Eth1/25CiscoNexus3048交换机2Eth1/25Eth1/26CiscoNexus3048交换机2Eth1/26Eth1/37Cisco
16、UCSC220C系列独立服务器1管理端口Eth1/38CiscoUCSC220C系歹J独立服务器3管理端口Eth1/39NetAppFAS2220存储控制器1管理端口本地设备本地端口远程设备远程端口在Microsoft5Eth1/1NetAppFAS2220存储控制器1ebEthl/2NetAppFAS2220存储控制器2ebEthl/3NetAppFAS2220存储控制器1edEthl/4NetAppFAS2220存储控制器2edEthl/13CiscoUCSC220C系列独立服务器10/1Ethl/14CiscoUCSC220C系列独立服务器10/2CiscoNexusNetAppFAS2
17、220存储控制器1远程端口3048交换机1Eth12NetAppFAS2220存储控制器2eaEth13NetAppFAS2220存储控制器1ecEth1/4NetAppFAS2220存储控制器2ecEth1/13CiscoUCSC220C系歹J独立服务器11/1Eth1/14CiscoUCSC220C系歹J独立服务器11/2Eth1/15CiscoUCSC220C系列独立服务器11/3Eth1/16CiscoUCSC220C系列独立服务器21/1Eth1/17CiscoUCSC220C系列独立服务器21/2Eth1/18CiscoUCSC220C系歹J独立服务器21/3Eth1/25Cisc
18、oNexus3048交换机2Eth1/25Eth1/26CiscoNexus3048交换机2Eth1/26Eth1/37CiscoUCSC220C系歹J独立服务器1管理端口Eth1/38CiscoUCSC220C系歹J独立服务器3管理端口Eth1/39楸1CiSCoNNetAppFAS2220存储控制器1KPtnnFQ222右修培生11瞿管理端口oh匹配编号来确定。NetAPPFAS22403堰黜5耍翻1阡嚅料仔曲h11标注为F.e雀端口淬接到存储控制器1编帮2硼翩嗣卷瀛朔T,。ebEth1/3NetAppFAS2220存储控制器1edEth1/4NetAppFAS2220存储控制器2edEt
19、h1/13CiscoUCSC220C系列独立服务器10/1Eth1/14CiscoUCSC220C系列独立服务器10/2Eth1/15CiscoUCSC220C系列独立服务器11/4Ethl/16CiscoUCSC220C系列独立服务器20/1Eth1/17CiscoUCSC220C系列独立服务器20/2Eth1/18CiscoUCSC220C系列独立服务器21/4Eth1/25CiscoNexus3048交换机1Eth1/25Eth1/26CiscoNexus3048交换机1Eth1/26Eth1/37CiscoUCSC220C系列独立服务器2管理端口Eth1/38CiscoUCSC220C
20、系列独立服务器4管理端口Ceoo Nevus 3O4G 交轶帆,Cicoo Ngmjc 3M85*2Ceco C22 M3 C1C44OC220M3C,州31务2CgC220 M3CwmHl 3CBasicSystemConfigurationDialogWouldyouliketoenterthebasicconfigurationdialogyes/no):yesCreateanotherloginaccount(yesno)n:Configureread-onlySNMPcommunitystringyesno)(n):Configureread-writeSNMPcommunityst
21、ring(yesno)n):Entertheswitchname:var_switch_hostnameContinuewithOut-of-band(mgmt(managementconfiguration?(yesno1(y:MgmtOIPv4address:var_mgmtO_ip_addressMgmtOIPv4netmask:var_mgmtO_netmaskConfigurethedefaultgatewayformgmt?(yesno)y):nEnablethetelnetservice?(yesno)n:EnabletheSShservice?(yesno)y:Typeofss
22、hkeyyouwouldliketogenerate(dsa/rsa):rsaNumberofkeybits:1024Configurethentpserver?(yesno)(n):ConfigureCoPPSystemPolicyProfile(default/12/13)default:Thefollowingconfigurationwillbeapplied:Switchnamevar_switch_hostnameinterfacemgmtipaddressvar_mgmtO_ip_addressvar_mgmtO_netmasknoshutdownnotelnetserveren
23、ablesshkeyrsa1024forceSShserverenablepolicy-maptypecontrol-planecopp-system-policy(default)Wouldyouliketoedittheconfiguration?(n:Usethisconfigurationandsaveit?(yesno)y:8.2 软件升级(可选)NetApp建议在配置过程的这一阶段对交换机执行任何必要的软件升级。请从Cisco软件下载站点下载并安装适用于CiscoNexus3048交换机的最新版NX-OS软件。将NX-OS的kickstart及系统映像传输至交换机的方法有多种。最直
24、接的方法是利用交换机上的板载USB端口。将NX-OS的kickstart和系统文件下载到USB驱动器,然后将该USB驱动器插入CiscoNexus3048交换机的外接USB端口。1 .按照以下流程将文件复制到本地的bootflash并更新交换机。交换机1和交换机2copyusbl:bootflash:copyusbl:system_image_filebootflash:installallIdCkStaltbcoflas!systemMotflash:sy$teainagefile)2 .随后,交换机将安装更新的NX-OS文件并重新启动。3 .3功能要使用其他配置选项,需要在NX-OS中启用
25、某些高级功能。只有在使用第8.1节所述的背靠背mgmt选项时,才需要使用interface-vlan功能。该功能可以为接口VLAN(SVI)分配IP地址,从而可以与交换机进行带内管理通信(如SSH)o1.使用(configt)命令进入配置模式,然后键入以下命令在每个交换机上启用适当功能。交换机1和交换机2featureinterface-vlanfeatureIacpfeatureVPC8.4 全局Port-Channel(端口通道)配置默认的Port-Channel负载平衡哈希采用源和目标IP来确定端口通道中各个接口之间的负载平衡算法。为了在端口通道各个成员之间更好地分布负载,除了提供源和目
26、标IP之外,还可以为该哈希算法提供更多输入。因此,强烈建议将源和目标TCP端口添加到该哈希算法中。在配置模式(configt)下,键入以下命令,对每个交换机进行全局Port-Channel负载平衡配置。交换机1和交换机2port-channelload-balanceethernetsource-dest-port8.5 全局Spanning-Tree(生成树)配置CiscoNexus平台会利用一种称为BridgeAssurance(网桥保障)的全新保护功能。BridgeAssurance有助于防止出现单向链路或其他软件故障,并避免设备在停止运行Spanning-Tree算法时继续转发数据流量
27、根据平台的具体情况,可以将端口设为包括“network”和“edge”在内的状态之一。建议的BridgeAssurance设置是,默认情况下将所有端口都视为网络端口。此模式将强制网络管理员访问每个端口的配置,并有助于发现最常见的配置错误,例如,无法识别的边缘端口或未在相邻端口上启用BridgeAssurance,此外,在Spanning-Tree配置中,阻止的端口多总比阻止的端口不足更加安全,这样可以通过默认端口状态提高网络的整体稳定性。添加额外的服务器、存储或上行链路交换机时,要密切注意Spanning-Tree的状态,特别是当这些设备不支持BridgeAssurance时。在这种情况下,
28、可能需要更改端口类型,才能使端口处于活动状态。默认情况下,作为另一层保护,将在边缘端口上启用BPDU保护功能。如果在此接口上发现来自其他交换机的BPDU1则该功能将关闭端口,以防止在网络中循环使用。在配置模式(configt)下,键入以下命令,为每个交换机配置默认的Spanning-Tree选项(包括默认端口类型和BPDU保护)。交换机1和交换机2spanning-treeporttypenetworkdefaultSPanni.ng-trPorttypdgbpduguarddefault8.6 巨型帧应在整个网络内配置巨型帧,以使任何应用程序或操作系统都能传输较大的帧而不产生碎片。请注意,两
29、个端点以及这两个端点之间的所有接口(L2和L3)都必须支持巨型帧并进行相应配置,才能让巨型帧所带来的优势得以实现,并防止因帧的碎片化而带来的性能问题。在配置模式(configt)下,键入以下命令,为每个交换机启用巨型帧。交换机1和交换机2policy-maptypenetwork-qosjumboclasstypenetwork-qosclass-defaultmtu9000systemqosSerViCe-POliCytypenetwork-qosjumbo8.7 VLAN定义为各个端口配置不同的VLAN之前,必须先在交换机上定义这些L2VLAN0最好对VLAN进行命名,这对日后的故障排除会
30、有一定帮助。在配置模式(configt)下,键入以下命令,以定义和描述L2VLAN3交换机1和交换机2vlanvar_iscsia_vlan_idnameiSCSIA-VLANvlanvar_iscsib_vlan_idnameiSCSIB-VLANvlanvar_lm_vlan_idnameLiveMigration-VLANvlanvar_csv_vlan_idnameCSV-VLANvlanvar_vmtraffic_vlan_idnameVM-Traffic-VLANvlanvar_mgmtevlan_idnameMG而-VLAN8.8 访问和管理端口描述与为L2VLAN分配名称类似,
31、为所有接口设置适当的描述也同样有助于配置和故障排除。对于小型配置,无需为与Server-3和Server-4关联的管理和数据端口设置描述,因为小型FIexPod噩咤产量仅包含两个服务器。在每个交换机的配置模式(configt)下,键入以下命令,设置适交换机1交换机2intethl/1intethl/1descriptionFAS-IzeOadescripcicaFAS-IzeObinCethl/2descriptionFAS-2:e0aintethl/2deccipcifflFAS-2:e0bintethl/3descriptionFAS-IzeOcintetl3dcrlptiFAS-I:e0
32、difttethl/4descriptionFAS-2e0cintetl4descrlptioFAS-2:e0dintethl/13des:TiPtiOnServer-I:portl/lintethl/13CfescripticaServer-I:port0/lintetbl/14descriptionServer-I:portl/2intethl/14descdptioaServer-I:port0/2intetbl/15deiptionServer-I:portl/3intethl/15晒记ptisServer-I:portl/4intethl/16descriptionServer-2:
33、portl/lintetl16dcriptiaServer-2:portO/lintetbl/17descriptionServer-2:portl/2lotethl/17dcrlptiServer-2:port0/2intetbl/18descriptionServer-2portl3intethl/18CtescrlptiaiServer-2:portl/4intethl/19desiptionServer-3:port1/1intethl/19descriptiServer-3portllintetbl/20descriptionServer-3:portl/2intethl/20scpcioaServer-3:port0/2intethl/21deiptionServer-3:portl/3intethl/21*scriptiaServer-3:portl/4intetbl/22descriptionServer-4:portl/lintethl/21scriptiServer-4:portO/lintetbl/23deriptionServer-4portl2intetl23dsscrlptiaServer-4por