1、 区域服务部培训教材系统项目支持部区域服务部2009年6月区域服务部培训教材文件系统StorNext FS第1章 StorNext FS概述第1节 概述Stornext FS存储管理软件是公司在2006年引进并用于项目中。主要用于满足大容量的存储管理和访问优化功能。到目前此产品已使用3年多，已成为各个项目存储管理的必备软件。其重要性可想而知，Stornext FS文件系统的产品特点、安装配置、性能优化和日常维护是每个项目实施人员必须掌握的技能。第2节 Stornext FS与IBM SANergy的对比在05年及之前的项目，公司一直采用IBM SANergy对存储进行管理，由于其自身的一些缺点
2、不能满足日益增长的业务应用需求，因此退出了历史的舞台。下表是Stornext FS和IBM SANergy性能特点的对比。比较项目StorNext FSSANergy备注产品本质独立的、跨平台SAN文件系统SAN文件系统外壳程序1. StorNext FS是完全为SAN网络环境设计的文件系统，不依赖于任何现有操作系统中附带的文件系统。2. SANergy不是一个独立的文件系统，它基于现有文件系统处理硬件，所以它只是一个SAN文件系统外壳软件。文件系统体系结构64位日志型文件系统，底层文件系统依赖传统的NTFS、UFS、EXT2等。1. StorNext FS是64位文件系统，可以保证管理巨大的
3、磁盘空间和文件数量，不同类型的主机可以同时以FC Direct I/O方式访问数据，中间不需要任何协议转换。因此，StorNext FS可以充分利用和发挥SAN体系结构的所有优点，特别是在混合平台、大量主机并发工作环境中优势非常突出。采用日志型文件系统的设计保证系统的可靠性、健壮性和快速恢复能力2. SANergy采用现有DAS文件系统管理硬件，视MDC主机平台而定（如是Windows就是NTFS、Solaris就是UFS、Linux就是EXT2等）技术依赖其他厂商，在混合平台之间共享数据需要采用NFS协议处理，不能满足混合平台、大量主机并发工作环境中的性能要求。SANergy不是日志型文件系
4、统，系统可靠性较差MetaData传输效率Metadata传输占用LAN带宽低，占用MDC主机资源少，可以支持大量主机并发访问。Metadata传输占用LAN带宽高，占用MDC主机资源多，不能支持大量主机并发访问1. StorNext FS直接通过TCP/IP协议传输Metadata，MDC采用优化算法处理Metadata，因此传输和处理效率非常高，可以满足大量主机在高负载环境下并行工作的要求2. SANergy使用NFS/CIFS文件传输协议传输Metadata信息，不仅占用的LAN带宽，而且由于MDC必须运行NFS/CIFS服务器处理连接，所以消耗资源较大，在高负载环境中效率低下硬件管理（
5、SAN网络、磁盘阵列和磁带库等）具备SAN网络和磁盘优化功能。依赖其它文件系统技术处理硬件，1. StorNext FS具有自己的磁盘逻辑卷管理功能，可以优化组合SAN中的磁盘资源，并且可以对SAN网络链路进行多通道并发处理、保证带宽质量和实现负载均衡，从而充分发挥SAN体系结构的优势。SANergy由于依靠传统文件系统处理硬件。SANergy没有集成的磁带库和磁带管理功能MDC可用性设计（Failover）MDC主机可以在任意平台中切换（UNIX、Windows、Linux）MDC主机只能在Windows主机中切换，无法在其它主机上切换1. StorNext FS的Metadata控制器可以
6、在任何类型的主机中进行切换，因此系统的连续性和可靠性比较强。2. SANergy MDC只有在Windows环境下才可以双机切换，如果MDC主机是Linux，就无切换功能。这个约束极大降低了SANergy系统的可靠性和可用性各主机文件系统使用方式工作站以本地文件系统方式安装共享磁盘工作站以网络文件系统方式安装共享磁盘1. 由于StorNext FS是独立的文件系统，所有主机以本地文件系统的方式安装（Windows环境中就是一个本地盘符），所有应用软件都可以以本地磁盘和文件系统方式处理StorNext FS中的数据2. 而SANergy不是独立的文件系统，它必须以网络文件系统的形式安装在主机上（
7、Windows就是网络盘符、UNIX和Linux就是NFS文件系统），那些不能在网络文件系统上处理数据的应用就无法运行，或运行效率和很低，而且容易和一些软件发生冲突（如防病毒软件）各主机文件系统共享输出能力任意工作站可以通过CIFS、NFS、FTP等协议输出共享只有MDC主机才能输出共享（CIFS、NFS、FTP等）1. 由于StorNext FS是独立的文件系统，所有主机以本地文件系统的方式安装，所以所有主机都可以采用任何协议在为LAN中主机共享StorNext FS文件系统中的数据，二次共享。2. 除了MDC外，所有SANergy主机都无法为其他LAN主机提供数据共享，因为它本身就是网络文
8、件系统，不能再次共享支持的操作系统Sun Solaris、IBM AIX、SGI IRIX、Red Hat Linux、SuSE Linux、HP-UX、WindowsRed Hat Linux、Windows1. Stornext FS支持当今主流的操作系统。文件系统的容量增加增加文件系统的容量不会影响原文件系统已存储的数据。支持动态增加。增加容量需要从设备底层进行，重新进行LUN的划分，原文件系统数据丢失。1. Stornext FS文件系统更为灵活。产品未来发展不断推出新功能和新版本IBM已计划将其停产。1. ADIC公司将StorNext FS做为公司战略性产品，对其研发、市场推广和销
9、售进行了大量投资，并将不断加入新功能，使StorNext FS不断向前发展2. 由于体系结构的限制，SANergy只是IBM公司的一个过渡性产品，即将被新产品代替，其命运不是停产就是被转卖，用户投资将得不到保护第3节 Stornext FS客户端访问文件系统过程在进行此部分的讲解之前，先了解2个名词。名称服务器(NameServer)和元数据服务器（MDS）。它们的作用是什么。名称服务器(NameServer)：其作用是充当网络交警，将需要访问或mount某个文件系统的客户端指引到相应的MDS。它记录了元数据服务器和所管理的文件系统的对应关系。元数据服务器（MDS）：作用是进行文件系统的元数据
10、管理，为SAN环境中每个客户端提供元数据服务的功能（在SAN环境中的客户端只有获取了文件系统正确的元数据信息，才能正常的访问到存放在存储内的数据，这个元数据从管理到提供服务器全是由MDS来完成的，在整个SAN环境中MDS起着至关重要的角色）。下图为Stornext FS架构图 根据上图我们可以很清晰的看到在一个Stornext FS系统中，包含了名称服务器（NameServer）、元数据服务器（MDS）和Stornext客户端。在其中名称服务器和元数据服务器可以部署在一起，如标准Nstar方案中，没有单独的名称服务器，MDS既充当了元数据服务器也担当名称服务器的角色。名称服务器在一个系统中最多
11、使用两台，且两台服务器热备功能，当其中一台出现故障，可以通过另外一台名称服务器提供服务。元数据服务器支持Faiover功能，对于多个文件系统可以为双A模式，也可以为AS模式。对于单个文件系统只能为AS模式。一个Stornext客户端是怎样对文件系统进行访问的呢？如Stornext Client 1要访问文件系统SNFS-1，具体步骤如下：1、 Stornext Client 1首先根据本机的fsnameserver文件，找到名称服务器。告诉名称服务器自己要访问SNFS-1。2、 名称服务器会根据记录，查找到SNFS-1的元数据服务器是MDS1和MDS2。知道当前是由MDS1进行管理。将此信息反
12、馈给Stornext Client 1。3、 Stornext Client 1知道知道要访问的文件系统SNFS-1是由MDS1进行管理后，会直接向MDS1发数据访问请求。如果之后MDS1和Stornext Client 1不重启Stornext服务或者机器，以后访问SNFS-1文件系统就不会再向名称服务器发送请求，而是直接给MDS1发送数据访问请求。4、 MDS1收到请求以后会反馈给Stornext Client 1要访问文件的元数据信息。5、 Stornext Client 1得到元数据信息后通过光纤链路对文件系统中的要访问的数据进行操作。第4节 Stornext FS主要配置文件介绍St
13、ornext FS常用配置文件有：fsnameservers、fsmlist、.cfg和cvlabels（需要通过命令产生），这些文件存放的目录根据使用的操作系统不同而不同。Linux操作系统位于：/usr/cvfs/config/；Windows操作系统位于：C:Program FilesStorNextconfig 。配置文件说明：1、 Fsnameservers：此文件中配置了名称服务器IP，所有Stornext客户端都是通过此文件中的IP地址去找名称服务器。一个系统中需要访问文件系统的站点或者服务器，此文件必须保持一致。2、 Fsmlist：此文件只存在于MDS服务器中。此文件中包含了
14、MDS服务器管理的所有文件系统，以及这些文件系统与本MDS的关系。如：SNFS-1 0，表示此台MDS对于文件系统SNFS-1的管理权为主，意思是常态情况下由此台MDS管理SNFS-1。如：SNFS-1 1表示此台MDS对于文件系统SNFS-1的管理权为备，意思是当主MDS管理文件系统服务重启或者关机后，由本机对SNFS-1进行管理。3、 .cfg：此文件是文件系统的配置文件，文件系统中LUN的定义，条带的定义，性能优化都在此配置文件中进行。4、 cvlabels：用于记录文件系统所管理的LUN的label信息。此文件需要通过“cvlabel -”产生。对于label完成后，作为备份使用。防止
15、label以外丢失后进行重新label。第2章 Stornext FS安装及配置第1节 Stornext FS Windows服务端安装与配置2.1.1 安装前提与原则一、 安装前提1. FC驱动安装完成配置完成；2. 如果存储需要需要多路径支持，确认已经安装多路径软件。3. 所有LUN都被正确识别。二、 安装原则1. 先安装MDS1（主MDS），等文件系统创建完成并激活后再安装MDS2（备MDS）。2.1.2 Stornext FS服务端软件安装1. 在MDS1上双击Stornext FS安装包会弹出如下界面：2. 点击Next弹出如下界面：3. 单击Next弹出如下界面：4. 填写好Use
16、r Name和Organization后单击Next，弹出如下界面：5. 选择Custom后弹出如下界面：6. 单击Next后弹出如下界面：7. 单击Install后弹出如下界面：8. 单击Finish弹出如下界面：9. 单击Exit后退出安装界面，将文件系统目录“C:Program FilesStorNextbin”加入到环境变量中。10. 重新启动机器。到此为止MDS1上文件系统软件安装完成，接下来在MDS1上进行文件系统的配置。2.1.3 文件系统的配置1. 在命令行的界面中输入cvlabel l，用于查看文件系统找到的LUN。C:Documents and SettingsAdmini
17、stratorcvlabel -lPhysicalDrive1 VMware, VMware Virtual S1.0 unknown Sectors: 1042432. SectorSize: 512.PhysicalDrive2 VMware, VMware Virtual S1.0 unknown Sectors: 2091008. SectorSize: 512.PhysicalDrive3 VMware, VMware Virtual S1.0 unknown Sectors: 2299904. SectorSize: 512.PhysicalDrive4 VMware, VMwar
18、e Virtual S1.0 unknown Sectors: 8378368. SectorSize: 512.PhysicalDrive0 VMware, VMware Virtual S1.0 Windows Sectors: 6247237. SectorSize: 512.从上面的结果中可以看出有5个LUN，其中绿色部分是windows操作系统在管理的LUN。根据Stornext找到LUN的数量和windows磁盘驱动器找到的数量进行对比，数量大小上一定是一致的。2. 在命令行下输入“cvlabel -c c:Program FilesStorNextconfigcvlabels”（
19、cvlabels文件可以放到任意目录，为了便于管理建议放到文件系统config目录下），将所找到的LUN的信息自动填写到cvlabels文件中。Cvlabels的内容如下：CvfsDisk_UNKNOWN PhysicalDrive1 # host 1 lun 0 sectors 1042432 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unknownCvfsDisk_UNKNOWN PhysicalDrive2 # host 1 lun 0 sectors 2091008 sector_size 512 inquir
20、y VMware, VMware Virtual S1.0 serial unknownCvfsDisk_UNKNOWN PhysicalDrive3 # host 1 lun 0 sectors 2299904 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unknownCvfsDisk_UNKNOWN PhysicalDrive4 # host 1 lun 0 sectors 8378368 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unkno
21、wnCvfsDisk_UNKNOWN PhysicalDrive0 VMware, VMware Virtual S1.0 Windows Sectors: 6247237. SectorSize: 512.（此LUN为windows操作系统管理的lun）3. 修改cvlabels文件A、 将windows操作系统管理的LUN从此文件中删除；B、 将CvfsDisk_UNKNOWN改为事先规划好的Label名称；修改后保存。（见步骤12红色字体部分）C、 规划修改好的cvlabels文件内容如下：xw_high_mj PhysicalDrive1 # host 1 lun 0 sectors
22、1042432 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unknownxw_high_1 PhysicalDrive2 # host 1 lun 0 sectors 2091008 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unknownxw_high_2 PhysicalDrive3 # host 1 lun 0 sectors 2299904 sector_size 512 inquiry VMware, VMware Virtual S
23、1.0 serial unknownxw_high_3 PhysicalDrive4 # host 1 lun 0 sectors 8378368 sector_size 512 inquiry VMware, VMware Virtual S1.0 serial unknown4. 使用cvlabel 对文件系统管理的LUN进行签名，在命令行下输入：cvlabel c:program filesstornextconigcvlabelsC:Documents and SettingsAdministratorcvlabel c:program filesstornextconigcvlabe
24、ls*WARNING* This program will over-write volume labels on the devices specified in the file c:cvlabels. After execution, the devices will only be usable by the StorNext File System. You will have to re-partition the devices to use them on a different file system.Do you want to proceed? (Y / N) - y（此
25、处选择Y后回车）PhysicalDrive1 VMware, VMware Virtual S1.0 unknown Controller default, Serial unknown, Sector Size 512, Sectors Max 1042432 (509.0MB)Do you want to label it SNFS-VTOC - Name: xw_high_mj Sectors: 1042432 (Y / N) - y#此处选择Y后回车#cvlabel: Cannot write backup label on device , (result) PhysicalDriv
26、e1 - Too many open files in system.New Volume Label -Device: PhysicalDrive1 SNFS Label: xw_high_mj Sectors: 1042432.PhysicalDrive2 VMware, VMware Virtual S1.0 unknown Controller default, Serial unknown, Sector Size 512, Sectors Max 2091008 (1021.0MB)Do you want to label it SNFS-VTOC - Name: xw_high_
27、1 Sectors: 2091008 (Y / N) -y#此处选择Y后回车#cvlabel: Cannot write backup label on device , (result) PhysicalDrive2 - Too many open files in system.New Volume Label -Device: PhysicalDrive2 SNFS Label: xw_high_1 Sectors: 2091008.PhysicalDrive3 VMware, VMware Virtual S1.0 unknown Controller default, Serial
28、unknown, Sector Size 512, Sectors Max 2299904 (1.1GB)Do you want to label it SNFS-VTOC - Name: xw_high_2 Sectors: 2299904 (Y / N) - y#此处选择Y后回车#New Volume Label -Device: PhysicalDrive3 SNFS Label: xw_high_2 Sectors: 2299904.PhysicalDrive4 VMware, VMware Virtual S1.0 unknown Controller default, Serial
29、 unknown, Sector Size 512, Sectors Max 8378368 (4.0GB)Do you want to label it SNFS-VTOC - Name: xw_high_3 Sectors: 8378368 (Y / N) -y#此处选择Y后回车#cvlabel: Cannot write backup label on device , (result) PhysicalDrive4 - Too many open files in system.New Volume Label -Device: PhysicalDrive4 SNFS Label: x
30、w_high_3 Sectors: 8378368.Done. 4 source lines. 4 labels. #表示文件系统对4个LUN进行了签名#.Press return to continue.签名后再执行cvlabel l检查签名情况，内容如下：PhysicalDrive1 VMware, VMware Virtual S1.0 SNFS xw_high_mj Sectors: 1042432. SectorSize: 512. Maximum sectors: 1042432.PhysicalDrive2 VMware, VMware Virtual S1.0 SNFS xw_
31、high_1 Sectors: 2091008. SectorSize: 512. Maximum sectors: 2091008.PhysicalDrive3 VMware, VMware Virtual S1.0 SNFS xw_high_2 Sectors: 2299904. SectorSize: 512. Maximum sectors: 2299904.PhysicalDrive4 VMware, VMware Virtual S1.0 SNFS xw_high_3 Sectors: 8378368. SectorSize: 512. Maximum sectors: 83783
32、68.将此内容和cvlabels文件中的签名进行对比，一定为一致。5. 修改配置文件将xw_high.cfg ，此文件的内容修改为以下内容：主要注意红色字体部分 * # A global section for defining file system-wide parameters. # # For Explanations of Values in this file see the following: # # UNIX Users: man cvfs_config # Windows Users: Start Programs # StorNext File System Help #
33、 Configuration File Format # # *AllocationStrategy Round # BufferCacheSize 64M # Default is 32MBDataMigration No # SNMS Managed File Systems Only# DataMigrationThreadPoolSize 128 # Default is 8 (Managed only)Debug 0x0 FileLocks No ForceStripeAlignment Yes FsBlockSize 16K #此处改为16K#GlobalSuperUser Yes
34、 # Set to Yes for SNMS Managed File SystemsInodeCacheSize 16K # 800-1000 bytes each, default 8KInodeExpandMin 128KInodeExpandInc 512KInodeExpandMax 8MJournalSize 16M #此处为16M，和FsBlockSize对应，如果FsBlockSize为32K，此处就应该为32M#MaxConnections 32 #此处的数字和访问的Stornext客户端相关，为所有客户端数量*2+10# MaxMBPerClientReserve 50 #
35、 Default is 100 MB reserved per clientMaxLogs 4 MaxLogSize 16M # OpHangLimitSecs 300 # Default is 180 secsQuotas No ThreadPoolSize 32 # Default is 16, 512 KB memory per threadUnixDirectoryCreationModeOnWindows 0755UnixFileCreationModeOnWindows 0644UnixIdFabricationOnWindows NoUnixNobodyGidOnWindows
36、60001UnixNobodyUidOnWindows 60001WindowsSecurity YesABMFreeLimit No*# A disktype section for defining disk hardware parameters. 此部分是定义文件系统所使用LUN的类型，包括：DiskType、Sectors和SectorSize这三个参数。# *DiskType xw_high_mj #磁盘类型为xw_high_mj，用于存放元数据和日志文件的LUN的磁盘类型，一般采用独立的Raid组进行，且采用Raid1，DDN存储有条件最好选用单独的1个Tier做此功能LUN#S
37、ectors 1042432 #此处大小需和cvlabels中所对应的LUN大小相同#SectorSize 512 #此处大小和存储做LUN时候选择blocksize相同，如果不同文件系统对此类型的LUN识别容量就是错误的。#以下的磁盘类型定义同上雷同，只是定义文件系统所使用数据LUN的磁盘类型。#DiskType xw_high_1 #8+1 Raid 5 Lun for Video#Sectors 2054272SectorSize 512 DiskType xw_high_2 #8+1 Raid 5 Lun for Video#Sectors 2263117SectorSize 512D
38、iskType xw_high_3 #8+1 Raid 5 Lun for Video#Sectors 8378368SectorSize 512* # A disk section for defining disks in the hardware configuration. # * #此部分用于定义文件系统使用的LUN属于哪种磁盘类型，这些类型在磁盘类型定义部分已经定义，并且启动文件系统的时候自动启动这些LUN。#Disk xw_high_mj Status UPType xw_high_mj #以上斜体部分是将label为xw_high_mj的LUN定义为xw_high_mj类型。#
39、Disk xw_high_1 Status UP Type xw_high_1 Disk xw_high_2 Status UP Type xw_high_2Disk xw_high_3 Status UP Type xw_high_3#以上斜体部分是将label为xw_high_1、xw_high_2、xw_high_1的LUN分别定义为xw_high_1、xw_high_2、xw_high_3类型。# * # A stripe section for defining stripe groups. # * #以下部分定义文件系统条带的相关内容。#StripeGroup MetaFiles
40、定义元数据和日志LUN的条带#Status UP MetaData Yes #由于此LUN需要存放元数据，因此选择为Yes#Journal Yes #由于此LUN需要存放日志，因此选择为Yes#Exclusive Yes Read Enabled #由于要进行读操作，选择为Enabled#Write Enabled #由于要进行写操作，选择为Enabled#StripeBreadth 256K #Stornext推荐使用256K，由于是存放元数据和日志这些文件，因此定义较小#MultiPathMethod Rotate Node xw_high_mj 0 #定义此条带中包含的LUN只有xw_
41、high_mj#StripeGroup DataFiles #定义数据LUN的条带，同元数据和日志LUN的条带雷同#Status UPExclusive Yes#Exclusive StripeGroup for Video Files Only#Affinity VideoFilesRead EnabledWrite EnabledStripeBreadth 1M #Stornext推荐使用1M，由于是存放视频文件的数据，因此定义较大#MultiPathMethod RotateNode xw_high_1 0 Node xw_high_2 1Node xw_high_3 2 #如果一个条带
42、中包含多个LUN，相当于文件系统对这些LUN作了一次Raid 0，且容量按照最小的LUN*LUN个数，如3个LUN分别是1T、2T和3T，其总容量只有3T。#完成以上操作文件系统xw_high的配置文件就修改好了。6. 在命令行模式下使用cvmkfs xw_high对文件系统xw_high进行初始化。具体操作如下：C:Documents and SettingsAdministratorcvmkfs xw_highStorNext File System File System Initializer.* WARNING * This will destroy all contents and
43、 data of the - xw_high - file system. Re-initialization cannot be un-done!Do you want to proceed? (Y/N) - y #此处选择y #Re-initializing file system xw_high .Shared Meta Data File System.Meta Data Root is on MetaFiles .Resetting Arbitration Block.Writing Configuration Information Block.Writing Root Directory Block.Writing Disk Information Block.Writing Stripe Group Index MetaFiles .Writing Stripe Group Index DataFiles .Res
免费区 
