1、NetApp技术报告集群模式DataONTAP8.2的并行网络文件系统配置和最佳实践NetApp公司BikashRoyChoudhury2013年6月|TR-4063目录1简介41.1 范围41.2 目标受众和假设42 集群模式DataONTAP8.2概述43 pNFS概述43.1 架构53.2 在集群模式DataONTAP中实施pNFS64为什么要在集群模式DataONTAP中使用pNFS?85 NFS与pNFS105.1 传统NFS所面临的挑战105.2 PNFS的优势116 PNFS的技术规范116.1 PNFS工作流117通过pNFS启用并装载文件系统127.1 在SVM上启用pNFS
2、127.2 设置PNFS客户端137.3 检查集群模式DataONTAP8.2中pNFS的状态137.4 RHEL6.4中的pNFS改进功能158最佳实践168.1 NFSv4.x转介与pNFS18附录18集群模式DataONTAP的术语18集群命名空间19全局命名空间的优势19PNFS协议操作20表格目录表1)全局命名空间的优势。19表2)pNFS协议操作。20插图目录图I)PNFS架构图。5图2)在集群模式DataoNTAP中实施pNFS。6图3)pNFS在集群模式DataONTAP中的工作方式。7图4)pNFS在集群模式DataONTAP8.1中的工作方式。8图5)NFS与pNFSo10
3、图6)集群命名空间根。191简介自从1984年问世以来，网络文件系统(NFS)已成为网络文件共享的标准，尤其是在UNIX和Linux环境中。NFS协议通过稳步发展不断地适应新需求和市场变化。运行计算机辅助工程、地震数据处理、生物信息学以及其他科学和工程应用程序的计算集群往往依赖于NFS来访问共享数据，但是，由于必须通过单个文件服务器访问文件系统中的所有文件，因此NFS会给上述应用程序带来严重的瓶颈问题。扩展性能的一种常见方法是，“纵向扩展”单个文件服务器的性能，该服务器的CPU和内存有时会存在一定限制。另一种性能扩展方式是“横向扩展”存储，即，客户端连接至单个文件服务器，但通过集群文件系统在多
4、个服务器之间分布数据。对于一些应用程序，这样可以提高性能，但是可能无法加快对单个大型文件的访问速度，也无法消除所有瓶颈问题。这些限制引发了对于横向扩展”共享存储行业标准方式的强烈需求，该方式与在计算集群中横向扩展服务器的方式类似。NFS版本4(NFSv4)通过复合操作并使用委托授权，解决了在NFSv3中发现的一些限制，从而改进了客户端缓存效果。尽管功能有所增强，但单个服务器瓶颈仍然存在。NFS协议的最新更新版本NFS4.1为并行NFS(pNFS)提供了一个规范，旨在消除单个服务器瓶颈问题。1.1 范围本文档涵盖以下主题： 并行网络文件系统(PNFS)简介 pNFS架构 在NetAPPE集群模式
5、DataONTAP砂8.2操作系统上实施pNFS pNFS用例 传统NFS与pNFS的比较 PNFS的配置与最佳实践1.2 目标受众和假设此技术报告适用于存储管理员、系统管理员和数据中心管理人员。本文假设您已掌握以下方面的基本知识：NetAppFAS系统和DataONTAP操作系统对协议(尤其是NFS)有所了解2集群模式DataONTAP8.2概述集群模式DataONTAP8.2主要用于位置透明的集群命名空间。在集群中，物理控制器中的一组存储和网络资源构成一个可管理的实体，称为StorageVirtualMachine(SVM)0该SVM中的所有存储资源都可以通过SVM中包含的所有网络资源进行
6、访问。根据卷在集群命名空间中的位置，可从本地(即，网络和存储资源位于同一物理控制器上)或远程(即，网络和存储资源位于不同物理控制器上，要访问存储，需要集群网络跃点)对客户端的I/O请求做出响应。在大多数情况下，如果远程卷的路径未经优化，则会降低集群的整体吞吐量C通过在协议级别在客户端与集群命名空间中的灵活卷之间提供直接、经优化的数据路径，可确保本地数据访问的一致性。3pNFS概述并行NFS(pNFS)是NFS4.1中的一个标准新增部分。NFSv4.1(RFC5662)是NFSv4的次要版本。NFSv4.1未修改任何NFSv4特性和功能-它只是在现有基础上进行了增强。对于传统的NFS3、4和4.
7、1,元数据和数据会通过同一I/O路径共享。而对于pNFS,则可以首次通过一项NFS功能处理不同I/O路径上的元数据和数据。元数据服务器可处理来自客户端的所有元数据活动，而数据服务器则可为数据访问提供直接路径。PNFS具有三种不同的实施方式：文件、块和对象。NetApp目前仅支持文件实施。客户端可通过NFSv4.1与元数据服务器进行通信，但会通过文件、块或对象访问数据服务器。每个存储供应商在其堆栈中采用不同的PNFS实施方式，而NetApp目前仅在集群模式DataONTAP中支持pNFS0DataONTAP7G/7-模式不支持pNFSo以下各节将详细介绍集群模式DataONTAP中的pNFS架构
8、3.1架构图1)pNFS架构图PNFS架构包括三个主要组成部分： 元数据服务器(MetadataServer,MDS),负责处理所有非数据流量。MDS负责所有元数据操作，例如GETATTR、SETATTRxLOOKUP.ACCESS.REMOVE.RENAME等。MDS还提供有关文件布局的信息。 数据服务器，负责存储文件数据，并直接响应客户端读写请求。数据服务器负责处理纯读写I/O. 基于从元数据服务器收到的元数据中的信息，能够直接访问数据服务器的一个或多个客户端。在客户端、元数据服务器和数据服务器之间使用三种协议： 控制协议，在元数据服务器和数据服务器之间使用以同步文件系统数据。 pNFS
9、协议，在客户端和元数据服务器之间使用。该协议实际上就是具有一些PNFS专有扩展内容的NFSv4.1协议。使用该协议可以检索和控制布局，这些布局包含元数据，用于描述访问众多数据服务器中存储的文件所需的位置和存储访问协议。 一组存储访问协议，由客户端用来直接访问数据服务器。PNFS规范目前具有三种类别的存储协议：基于文件、基于块和基于对象。DataONTAP8.1及更高版本支持基于文件的存储协议，并通过NFSv4.1访问数据服务器。上图显示了采用pNFS的一个客户端、单个服务器以及多个存储设备之间的关系(服务器和客户端可以访问所有存储设备)。3.2在集群模式DataONTAP中实施pNFS元数据路
10、径图2)在集群模式Data ONTAP中实施pNFSPNFS采用集群模式DataONTAP技术，并可为存储提供经过优化的路径，从而从根本上避免了在集群网络中使用跃点来提供数据。支持pNFS的客户端总是通过与存储位于相同物理控制器上的网络地址来获取数据。如果pNFS客户端从集群命名空间装载逻辑接口(LogicalInterface,LIF),则托管此LIF的主端口的节点就会成为元数据服务器。如果此节点还具有数据卷，则此节点也会成为数据服务器。这意味着，集群命名空间中的每个节点都会在集群模式DataONTAP实施中用作pNFS的元数据和数据服务器。以下示例更详细地展示了此行为。图3) pNFS在集
11、群模式Data ONTAP中的工作方式。集群R蓬交检机收娼包力UF 1PNFSvlF 管理理PNFS客户端3PNFS喜户蜻2使用UF 2接找MM2UF 3PNFS WPMt 1使用UF 4桂M M)IlpNFSVIF 管理事pNFSVIFPNFSVIF理节点A节点B根 vol 1在上图中，集群包含四个节点：节点A、节点B、节点C和节点D03.2.1 pNFS本地数据访问场景 pNFS客户端1装载节点D的逻辑接口JLF)LIF4。当客户端1发出一个OPEN请求，以便从数据节点D打开文件时，它将与节点D的网络堆栈进行通信。此节点成为该pNFS客户端(客户端D的元数据服务器，该客户端装载节点D的LI
12、F(LIF4)0如果pNFS客户端所请求的文件位于相应的数据刀片(D刀片)中，则会从节点D本地提供该文件。如果客户端请求的文件位于节点B的某个卷中，则对于任何常规NFSv3和NFSv4客户端而言，该请求通常会成为远程请求。而借助pNFS,卷位置数据库(VOIumeLOCatiOnDatabaSe,VLDB)将构建设备信息，其中包含位置、文件布局以及访问该位置的路径。此信息将缓存在网络堆栈(此处为节点D的N堆栈)中，并同时传递至客户端。客户端获得此信息后，它将访问该文件所在的节点B的本地网络堆栈。 同样，PNFS客户端2装载节点B的LIF(LIF2)o当客户端2发出一个OPEN请求，以便从节点B
13、打开文件时，它将与节点B的网络堆栈(N堆栈)进行通信。此节点成为pNFS客户端2(LIF2)的元数据服务器。pNFS客户端2请求的文件位于节点C的某个卷中。现在，VLDB将构建设备信息，此信息将缓存在节点B的网络堆栈中，并传递至客户端2。客户端收到此信息后，它将访问文件所在的节点C的本地网络堆栈， pNFS客户端3装载节点C的LIF(LIF3)o当客户端3发出一个OPEN请求，以便从数据节点C打开文件时，它将与节点C的网络堆栈(N堆栈)进行通信。现在，LIF3将成为pNFS客户端3的元数据服务器。pNFS客户端3请求的文件位于节点D的某个卷中。然后，VLDB将构建必要的设备信息，此信息将缓存在
14、节点C的网络堆栈中，并传递至客户端3。客户端3获得此信息后，它将访问文件所在的节点D的网络堆栈。图4) pNFS在集群模式Data ONTAP 8.1中的工作方式。节点BpNFS P 1 /PNFS客户蟠39AlF3MttM)l3 使用IF2情ItW?PNFS客户曜2W锌互建交校机集*互连交换机察瓦遑女检机PNFS VIF 9l依，同定7tft 数陆定pNFS VIFpNFS VlF 曹理元rt依据锁定PNFS客户H 4使用LIF 1徒载20H客户端访司NoMUF 4PNFS VlF*S*请考虑这样一个场景，在vol1上执行volmove命令，将其从节点B移至节点A0pNFS客户端1一直在访问
15、此卷(vol1)上的文件。如果使用常规NFS,则在执行volmove操作后，客户端必须先卸载或重新装载，才能从新位置访问该卷中的文件。而使用pNFS,此操作将不会出现中断。将vol1从节点B移至节点A后，VLDB将更新设备信息，并将此信息缓存在节点D的网络堆栈中。此信息会同时发送至客户端1o客户端收到此信息后，它将访问文件所在的节点A上已更新的本地网络堆栈位置，如果客户端4发出一个OPEN请求，以便从数据节点A(LIFI)打开文件，并与节点A的网络堆栈进行通信，则请注意，pNFS客户端4请求的文件位于节点A的相应数据堆栈中，因此可从节点A本地提供。4为什么要在集群模式DataONTAP中使用p
16、NFS?在集群模式DataONTAP中对各种工作负载使用pNFS的原因如下。为业务关键型应用程序提供高效率负载平衡。随着高性能商业环境的计算需求不断提高，存储容量、CPU利用率和网络带宽也需要实现无缝扩展。虽然可以在集群模式DataONTAP命名空间中无缝添加增量存储容量，但是，在将卷移至新存储以实现容量增长并实现CPU和网络利用率重新平衡时，不能对在计算节点上运行的业务关键型应用程序造成中断，而这就要求停机时间近乎为零。这种情况可能会在石油和天然气行业中出现，其中，数百个计算节点会执行大量作业任务。如果使用pNFS,那么在集群命名空间中实时迁移任何卷都不会影响计算节点从新存储节点访问这些卷。
17、在命名空间中移动之后，当从其他集群节点提供文件系统时，NFS文件句柄不会更改；因此,无需卸载或重新装载文件系统。这种高效率的负载平衡有助于在集群存储中实现CPU、内存和网络的高效利用。虽然在横向扩展架构中会有更多的存储节点提供更多的CPU和内存资源，但是智能PNFS客户端将更新，以使用文件系统的新位置，从而有助于将数据访问移至新位置。为具有不同工作负载特性的应用程序提供高效资源利用。如果使用传统NFS,元数据、数据和控制均共享同一个I/O路径。随着数据在结构方面发生变化以及存储容量的增加，单个文件系统会使系统资源的饱和程度超过可获得的特定性能。在电子设备自动化(ElectronicDevice
18、Automation,EDA)环境中实施的应用程序会占用大量CPUo在一个集群中，单个节点上的CPU最有可能成为瓶颈。尽管EDA大都采用顺序工作负载，并会产生高CPU利用率，但是也可能会在同一存储上为软件构建环境产生一些诸如用户主目录和暂存空间之类的工作负载，这些工作负载在本质上大多是随机的。在集群命名空间中重新分布这些工作负载，并为文件系统提供最佳访问路径，这一直都是一个难题。除了在主流的磁盘和聚合规模调整方面提供必须遵循的最佳实践建议之外，支持PNFS的客户端还可以处理异构工作负载。PNFS客户端可以从旋转式磁盘或固态硬盘(SolidStateDevice,SSD)s内存以及支持重复数据删
19、除的扩展缓存中访问具有不同工作负载特性的文件系统。无论文件系统位于命名空间中的哪个位置，PNFS客户端都能通过元数据和控制路径之外的直接数据路径访问卷。这样，应用程序便可通过单个或多个NFS装载并行访问不同卷上的文件系统，从而通过在多个节点间分布异构工作负载来提高吞吐量并优化延迟。扩展并配置存储以快速满足服务级别协议(SLA),从而实现IT即服务(ITaaS)o面对如今不断变化且多种多样的业务需求，及时地满足SLA并缩短上市时间变得尤其重要。对于托管ITaaS或平台即服务(PaaS)的云供应商来说，扩展和缩小规模以及配置存储容量都需要加快周转时间。虽然可以利用横向扩展架构灵活地按需配置存储，但
20、是命名空间中的卷可能位于不同的存储层(SSD、光纤通道或SATA磁盘)，以支持不同的工作负载需求(从常用到不常用)。从存储中装载卷的传统NFS客户端必须在装载时选择正确的集群节点，才能提供经过优化的数据路径，从而满足性能SLA的要求。如果SVM中存在许多数据LIF1则选择正确的路径可能会被认为困难重重。使用NFSv4.1和pNFS,可以灵活地从集群命名空间的任意位置装载文件系统或卷。命名空间中位于客户端所指定的装载点远程的卷仍可具有直接数据路径，以实现最佳性能。可以通过PNFS装载集群应用程序，同时仍可通过NFSv3装载孤立应用程序。从存储中导出的文件系统可以通过不同的NFS版本装载客户端，因
21、此，这些文件系统可以共存，而无需对访问数据或客户端基础架构的应用程序进行任何重大更改。这样可以降低频繁执行更改管理操作所产生的开销，而这一开销会转变为SLA中所花费的时间。多个客户端可以同时访问已导出的不同文件系统。PNFS作为开源协议,不需要在客户端上另外安装专有软件或驱动程序即可启用。只要客户端和服务器都支持pNFSt就只需装载即可。使用虚拟机管理程序和数据库中的非常规NFS客户端可提高可访问性、可靠性和性能。以往，一些处于领先地位且最受欢迎的虚拟机管理程序(如VMware)和数据库(如Oracle)都采用内置的NFSv3客户端，以执行与内核NFS类似的远程过程调用(RemoteProCe
22、dUreCaII,RPC)通信。此NFS客户端非常轻便，并且与独立的供应商堆栈相集成。目前，虚拟机管理程序数据存储库或数据库卷的大多数NFSv3流量都使用单个TCP会话。这意味着，即使在网络层提供链路聚合，客户端仍会受到单个TCP会话的限制。随着连接数量的增加，性能会呈线性扩展。另外，在NFSv3中未提供多路径支持，因此，客户端无法与单个NFSv3服务器建立多个连接。如果该TCP会话中断(如存在链路故障)，则必须具有其他备用路径，RPC通信才能恢复。这样会限制客户端与服务器之间通信的可访问性、可靠性以及性能。如果这些非常规NFS客户端开始在其堆栈中采用NFSv4.1,则NFSv4.1pNFS的
23、功能便会展现出强大优势。NFSv4.1提供了一种会话模式，可以在一个会话中建立多个连接。目前，虚拟机管理程序和数据库中的NFS4.1客户端可以在一个会话中建立多个连接。元效据SM.的喜使用同一n校单个堆根NFS.元数誉、效看、陵定A 元心凫珞径A 致发路程 - 挖川籍役5NFS与pNFS图5)NFS与pNFSpNFSNFS5.1 传统NFS所面临的挑战使用传统NFS时，您将面临着以下挑战： 对于元数据和数据流量.来自客户端的NFS请求共享同一I/O路径。有时会出现流量过大的情况，例如，当具有大量元数据操作的应用程序在同时处理数据读写的单个控制器机头上造成CPU周期饱和时。随着访问该应用程序的用
24、户数量增加，如果单个控制器机头负责处理这些操作，则扩展性就成了问题。 如果使用传统NFS版本（如版本3、4或4.1）,则要在单个HA对中或在一个集群设置的命名空间之间分布工作负载，需要从客户端装载多个NFS1才能访问用于导出文件系统的灵活卷。如果应用程序需要访问其他存放归档数据或不常用数据的卷，则管理这些导出的文件系统就会为管理员带来一项开销。可能还需要单独的装载，才能分别从SAS/FC磁盘或SATA磁盘聚合访问托管的卷。 如果未针对不同的工作负载进行充分的规模调整和采用最佳实践，则来自常规NFS客户端的数据路径就会遍历集群中未经优化的路径，以访问分散在命名空间的所有节点上的卷。这样会削弱最佳
25、性能，并且限制对数据卷的本地访问。 如果采用单个服务器设计，并为单个物理接口分配单个IP地址，则在节点之间移动数据将成为一项挑战。为了在单个HA对中实现网络和工作负载平衡，复制和镜像是将数据移至不同的控制器的仅有办法。要在NFS客户端上装载，可能需要来自新位置的另一个IP地址。这样将导致客户端卸载旧IP地址，然后重新装载更新的IP地址，以便从新位置访问卷。此机制经证实会造成中断，这是无法适应长时间停机的应用程序无法接受的。5.2 pNFS的优势PNFS具有以下优势。 消除了单个控制器瓶颈问题U不同于传统的NFS.pNFS实现了元数据和控制与数据路径的分离。元数据服务器（MDS）处理所有非数据流
26、量.如GETATTRsSETATTRxACCESS.LOOKUP,等等。数据服务器（DS）存储文件数据并且直接响应客户端读写请求。控制协议用于在元数据服务器和数据服务器之间实现同步。通过分散元数据操作使其由一个服务器处理，并由其他多个数据服务器处理读取或写入操作，可消除由单个控制器处理所有NFS操作所造成的瓶颈问题。如果使用PNFS,出于负载平衡目的而移至集群命名空间中其他节点的任何卷将不会带来中断，并且对于应用程序都是完全透明的。在命名空间中移动之后，当从其他集群节点提供文件系统时,NFS文件句柄不会更改；因此，无需卸载或重新装载文件系统。这种高效率的负载平衡系统有助于在集群存储中实现CPU
27、内存和网络的高效利用。 提高可扩展性和易管理性。当应用程序尝试从添加到集群命名空间的节点中访问托管文件系统的灵活卷时，PNFS客户端可以无缝操作，同时又不会造成任何中断。只要应用程序确定这些卷可供其使用，那么无需从客户端进行任何其他装载，应用程序即可访问这些卷。一般而言，在部署分层存储管理的情况下，旧文件会自动移至在成本较低的SATA磁盘上创建的卷。当应用程序可能偶尔需要访问这些卷时，借助PNFS以及集群命名空间所提供的优势，无需从客户端进行额外装载，即可访问新卷。无需从其他存储层进行任何其他装载，应用程序即可访问数据。虽然横向扩展架构中的额外存储节点可提供更多CPU和内存资源，但是智能pN
28、FS客户端将更新为文件系统的新位置，从而提供指向数据节点的直接路径。 与传统NFS协议共存。NFSv4.1的pNFS部分以及其他版本的NFS都属于开源协议，并且由互联网工程任务小组（IETF）社区推动发展。因此，只要客户端遵守相应的RFC,多种不同的NFS就可以同时使用。这意味着，支持的NFS客户端可以通过NFSV3、NFSv4和NFSv4.1pNFS装载相同的文件系统。但是，如果在文件或目录上设置了NFSv4.x访问控制列表（ACL）,则将对相应的文件或目录实施权限限制。虽然NFSv4客户端可以列出所有访问控制条目（ACCeSSCOmrOIEntry,ACE）,但是NFSv3客户端可能无法查
29、看为其设置的实际ACL1因为它不支持ACL8 提供数据位置。pNFS可为访问命名空间中的卷提供直接路径（只要有可用的网络路径来访问集群节点即可）。在使用pNFS的情况下，消除了用于访问命名空间中任意卷的未经优化的路径。PNFS可利用集群模式DataONTAP技术，并为存储提供经过优化的路径，从而从根本上无需再使用集群跃点来提供数据；支持pNFS的客户端总是通过与存储位于相同物理控制器上的网络地址来获取数据。6pNFS的技术规范6.1 pNFS工作流PNFS工作流包括两个阶段。1 .在第一个阶段，合格的PNFS客户端将使用集群命名空间中的任意IP地址或主机名来装载灵活卷/文件系统。在装载过程中，
30、NetApp集群将确定托管LIF的节点是否能够充当元数据服务器和（或）数据服务器,二成功装载后，托管IP地址的节点将成为元数据服务器。数据卷可以位于命名空间中的同一节点或任何其他节点上。客户端无需进行任何额外装载.即可确定数据卷的访问路径。2 .在第二个阶段，客户端将尝试从数据卷访问文件，以执行读取或写入操作。在此阶段，客户端将向指定为元数据服务器的NetApp集群节点先后发出Layoutget和Getdeviseinfo调用。如果不执行读取或写入操作，则客户端就不会向NetApp集群发出Layoutget请求。客户端将按照下面的顺序读取或写入文件。1 .客户端将执行一个OPEN请求，以便从元
31、数据节点的数据堆栈中打开文件。2 .然后，将从卷位置数据库执行检查，以确定在集群节点的对应数据刀片中是否存在客户端所请求的文件。a.如果文件位于对应的数据堆栈中，那么将由该节点在本地响应客户端的请求。这意味着同一节点可以用作元数据服务器和数据服务器。b.如果文件位于其他集群节点上，则元数据节点上的VLDB将提供文件布局。该布局包含卷的构成或位置方面的信息。c.充当元数据服务器的集群节点的网络堆栈中的虚拟网络接口(VirtUalNetWOrklnterfaCe,VIF)或网络管理器(VlFMGR)可提供网络路径信息，以访问卷所在的节点。此操作会以Getdeviceinfo调用的形式由客户端启动。
32、作为对此请求的回复，NetAPP集群上的mds会为客户端提供卷在命名空间中所在的LlF的IP地址。然后，客户端会直接访问数据服务器中的卷的本地LIF0注：元数据服务器(MDS)可以随时重新调用布局。d此布局信息将在网络堆栈中进行缓存，并且传递至客户端。e.一旦pNFS客户端获得布局信息，它将使用所请求文件实际所在的本地网络路径访问命名空间中的集群节点。一旦客户端对该文件执行CLOSE操作，它就会返回布局。有关PNFS协议操作的详细信息，请参见的荥中的相关部分。7通过pNFS启用并装载文件系统7.1 在SVM上启用pNFS要启用PNFS1请启用NFSv40NFSv4.1和pNFS,如下面的命令中
33、所示。必须启用NFSv4.0,因为它负责处理文件的锁定机制。此外，由于NFSv4.1是NFSv4的次要版本，因此需要基础NFS结构。需要采用一个有效机制，在客户端和NetApp存储之间映射用户和组信息，并通过NFSv4.x协议装载文件系统。有关详细信息，请参见TR-4067oclus-107:vservernfswdify-vserverVSl-v4.0enabled-4.1enabled-v4.1-pNFSenabled-v4-id-验证：cluse107:nfssbov-vsenervslVserver:vslGeneralNFSAccess:trueNFSv3:enabledNFSv4.
34、0:enabledUDPProtocol:enabledTCPProtocol:enabledSpinAuthentication:disabledDefaultNindovsUser:administratorNFSV4.QACLSupport:enabledNFSv4.0ReadCelegationSupport:disabledNFSv4.0MriteDelegationSupport:disabledNFSv4IDNappingDomain:tme2k8iopengnetappcomNFSv4.1MinorVersionSupport:enabledRquotaEnable：disab
35、ledNFSv4.1ParallelNFSSupport:enabledNFSv4.1ACLSupport:disabledNFSvStoraqeSupport:disabled7.2 设置pNFS客户端按照下面的步骤设置PNFS客户端：1 .选择支持的PNFS客户端。目前，RHEL6.4是RedHat推出的正式支持pNFS的GA版本。2 .使用-。VerS=4.1装载NFS共享。rootibmx3650-svl2/)#mkdirpnfs(root0ibmx365O-svl26mount-tnfs-overs-4.1112.17.40.171三pnfslpnfsroot0ibmx365O-sv
36、l26林Ismodlgrepnfsnfs_layout_nfsv41_files194801nfs4151432nfs_layout_nfsv41_filesIockd735341nfsfscache538741nfsauth-rpcgss449171nfsnfs-acl26471nfssunrpc26052111nfs_layout_nfsv41_filesrnfs,lockd,auth_rpcgss,nfs-acl(rootibm3650-svl26*)#mount172.17.40.171:/pnfslonpnfstypenfs(rw，vfrs4,minorversionladdr172
37、1740171,Client,ddrl,7217.44.42)rootibmx3650-sv125/#cd/home/rootl0mntvslpNFSpath01rootibmx3650-svl25pNFSpathOl#Is-altotal8drwxrwxrw2nobodynobody4096Mar2703:33.drwxr-r-3rootroot4096Mar2702:55.rootibmx3650-svl25pNFSpathOl#touchfooroot0ibmx365O-svl25pNFSpathOl#Is-altotal8drwxrwrw2nobodynobody4096Mar270
38、3:34.drwxr-xr-x3rootroot4096Mar2702:55.-rw-r-r1nobodynobody0Mar2703:34foorootibDc3650-svl25pNFSpathOl1#ddif三devzeroof=/hoe/root10/nnt/vsl/pNFSpathOl/foobs=1024kcount=100100+0recordsin100+0recordsout104857600bytes(105MB)copied,0.768461s,136MB/s注意：默认情况下，在RHEL6.4中，文件布局驱动程序aliasnfs-layouttye4-lnfs_layou
39、t_nfsv41_files处于启用状态。如果要禁用PNFS而仅使用NFSv4.1,则可以在etcmodprobe.d/blacklist.conf文件中加入此驱动程序。这样就会禁用pNFS,但如果使用-。vers=4.1从RHEL6.4进行装载，则文件系统仍可通过NFSv4.1来访问。7.3检查集群模式DataONTAP8.2中pNFS的状态当pNFS客户端向集群模式DataONTAPpNFS堆栈提供状态信息时，可以执行下面的检查对会话进行验证：1 .在下面的示例中，172.17.40.171用作元数据服务器，172.17.40.173用作数据服务器。bumblebee:setdiagWar
40、ning:ThesediagnosticcommandsareforsebyNetApppersonnelonly.Doyouwanttocontinue?yIn:ybumblebee:*vservernfsPnfSdevicesshowVserverNameMappingIDMsidMappingStatusGenerationvsl12147484676available1vsl22147484694available12 entriesweredisplayed.bumblebee:*vservernspnfsdevicesmappingsshowVserverNameMappingID
41、DsidLIFIPvsl11028172.17.40.171vsl21046172.17.40.1732.使用statistics选项来验证pNFS的运行情况。在与pNFS相关的操作过程中，将调用Layoutget和Getdeviceinfo两个计数器。bumblebee:tstatisticsstart-objectnfsv4-l-instancevsl-counterLtotalSUtisticscollectionisbingstarudforSaple-id:$4呼k_35bumblebee:：*StAtisticsshow-objectnfsv4_l-instancevsl-coun
42、terObject:nfsv4lInstance:vslStart-time:5/10/201311:22:35Sod-tine:5/10/201311:22:39Cluster:bumblebeeBbMofConstitotnu:46(8CPk3哪rtgatia)CounterValueaccsstotal14backchannelctltotal0bind_conn_to_session_totai0closeetotal2COramiJtOtal0COraPOUnd_total3597create_session_total6crtestotldelegpurge_totai0deleg
43、retum_total0destroy_clientid_total0deBtroyesessioaetotalexchangeidtotal6free_stateid_totai0get_dired1egation_totai0getattJtOtaI103getdevicinfo_total1getdviclist_total0getfhtotal14Iayoutcommit_totai0layoutget_total1layoutreturnetotal0Iink_total0IOCX_total0lockttotal0lckutotalIOokUP_total10lookupptota
44、l0nulltotal1nvrifyetotal0open_downgrade_totai0OPen_total2openattretotal0putfhtotal1699put:PubfheetOtaI0Rtrootfh.total03010Object:nfsv4e1Instance：vslStart-time:5/10/201311:22:35Ead-tim:5/10/201311:22:39Cluster:bumblebeeBhibeiofCoastitoents:48(cccpleteaggregatioa)CounterValuereadtotal0readdirtotal4rea
45、dlink_total0reclaimcompletetotal6remov_total0renametotal0restorefh_total2savefhtotal2secinfo_no_name_totai0secinfototal0sequencetotal3582set_ssv_totai0MUttxtotal1tststatidtotal0Terify0wanJdeIegation-total0writetotal100此处显示了53个条目。7.4RHEL6.4中的pNFS改进功能 DirectIO或CLDIRECT是Linux内核中的OPEN()系统调用参数，通常由不希望在运行R
46、edHatEnterpriseLinux(RHEL)的主机上使用页面缓存或内存缓冲区的应用程序使用。最典型的例子是，OracleRealApplicationCluster(RAC)节点希望将数据库“全局共享区域”中的新块或已修改块直接写入NetApp存储，从而绕过主机的页面缓存或内存缓冲区。该操作会在应用程序缓冲区与存储子系统中的磁盘之间实现零复制机制，从而减少RAC节点上的额外缓冲，并提高性能。应用程序将确定它是使用DIRECTIO进行同步通信，还是使用内核中的POSIX异步IO(Asynchronous10,AIO)接口进行异步通信来提高性能。在发布RHEL6.4之前，常规READ/WRITE路径共享相同的代码，而DIRECTIO则使用不同的代码路径。由于正常READ/WRITE和DIRECTIO之间的代码路径不同，因此，应用于正常路径的修复或修补程序不适用于DIRECTIO路径，反之亦然。同样，DIRECTIO代码路径也不能用于pNFSo它仅适用于使用NFSv3和NFSv4协议的应用程序。与正常read()和write()操作相比，READ向量
免费区 
