NFS与并行文件系统

一、NFS

　　HPC的计算节点都需要一个常见的文件系统。NFS为这个常见的文件系统提供了一个简单、稳固的解决方案。 基于NFS标准的存储方案被广泛用于Linux的HPC集群空间， 因为NFS简单易操作并且历经考验，故障模式为公众所知，而且在每一个Linux发行版中都是事实上的标准安装包，非常方便。这种特性让NFS成为了许多HPC装置的联机存储方案的一个较好的选择。根据IDC的调研，在110个HPC站点中，NFS是使用最为广泛的文件系统。91个最大的HPC系统中，56%都在使用NFS。同样的，近期展开的64个HPC系统中，其中64%使用的是NFS。这份调查说明在HPC部署中，NFS作为一个顶级文件系统的选择是很重要的。

 

　　无论以下哪种情况，NFS 都可以为HPC集群提供一个稳定的文件系统方案：(1) 集群应用程序的 I/O 要求可以通过单个或者多个集群服务器满足，(2)计算节点数量与连接后台存储的带宽相称，(3)存储容量能够满足集群需要，(4) 您需要一个可靠、容易理解并易操作的存储。

 

　　从理论上来说，如果应用程序的文件访问模式是N个用户访问N个文件，而且并行应用程序只有单个进程执行I/O，在这种情况下NFS作为主应用程序存储将运行得很好。许多使用NFS作为主存储的应用程序都能符合要求并运行得非常好。目前的最佳实践是无论HPC计算集群多大，统一使用10Gb以太网或者InfiniBand连接NFS 服务器。

 

　　然而，当系统开始庞大起来或者数据集增加，或者当许多计算客户同时存取一个单一文件(N对1 文档存取)，NFS可能就不是最佳选择方案了。在这种情况下，应用程序可以运用专用的高性能存储器来执行应用。

 

　　总体来说，NFS不仅对小型乃至中型集群有效，在更大一些的应用环境里也同样有效。对于大一点的集群来说，NFS仍然在启用集群节点的主目录和的应用程序的共享方面发挥着重要作用。在这种情况下， NFS不是运行应用程序的最主要的存储,因此即使对大量的计算节点来说性能要求也不高。在计算节点上轻松挂载用户主目录和应用程序，也可以使用NFS实现。

 

二、并行文件系统

　　近些年来，在HPC中从计算节点到后台存储都在广泛应用并行I/O，并行文件系统作为I/O性能扩展的解决方案在不断上升。并行I/O 由于它的并行特性，应用程序性能非常突出，它可以同时在容量和性能方面进行大量扩展。并行文件系统通过在多存储装置上分配(或分割)数据实现性能及扩展性。并行文件系统接近线性的性能扩展是NFS方案无法达到的。

 

　　尽管并行存储方案可以带来高性能以及容量的可扩展性，但是设计、调整、控制和维护并行文件系统很困难。并行文件系统通常包含几种存储服务器，既可以共享后台存储方案也可以拥有各自独立的存储。恰当地配置这种存储是很难的。HPC系统的设计和实施面临的较为典型的困难就是，多少条带宽度最合适，需要多少存储服务器，要求哪种元数据性能，如何按比例扩充存储方案的性能和容量，如何使用最少的人力成本管理和监控存储方案的有效性，等等。不难看出，设计一个良好的并行存储方案并不是一件容易的事。

 

在实现并行文件系统的众多方法中，有一种是在单一系统里交付高吞吐量，并行存取以及可扩展的容量。不过，事实证明这种方案在配置实施和维护的时候很复杂，成本也相当高。因此另一种方案，Lustre®并行文件系统开始流行起来，Lustre®并行文件系统使用完全可伸缩的多服务器、高度并行的方式部署。

 

Lustre并行文件系统

　　对于需要非常大的吞吐量、扩展性和容量的应用程序来说，Lustre是一种基于对象、开源高效的并行文件系统。虽然有些复杂，但Lustre功能非常丰富。

　　世界十大超级计算中心当中的七个以及超过50%的全球top50超级计算机都在使用Lustre,它可以扩展到25,000 名用户，32 PB (32,000 TB), 总的数据吞吐量高达130 GB/s。

　　Lustre是一种真正的并行文件系统，它可以允许一个集群中的多节点同时对同一个文件进行读写，这样就大大增加了支持并行I/O的应用程序的文件系统I/O性能。它通过在多个存储阵列上对数据进行条带化，整合所有存储服务器和存储阵列。这样，Lustre 就能用低成本的硬件来实现巨大的、可扩展的后台存储功能。

　　对于用户来说，Lustre文件系统提供了POSIX®-compliant UNIX®文件系统界面。客户端挂载Lustre文件系统一直可以看到一个单独的命名空间。在其他客户端读取文档的同时，不同的客户端可以同时对同一个文件的不同部分进行写操作。

　　Lustre客户端通常是典型的HPC集群计算节点，它们运行Lustre客户端软件并通过以太网或InfiniBand与Lustre 服务器进行通信。Lustre客户端软件由Lustre服务器和运行在计算节点上的应用程序之间的接口组成。

　　Lustre设计将文件系统操作分为两个独立的部分：文件系统元数据操作在元数据服务器(MDS)完成，文件数据操作在对象存储服务器(OSS)上完成。

　　OSS节点文件对象数据使用目标对象存储(OST)来储存(LUNs)。通常情况下，多个OSS在任何时候都处于active状态。由于每增加一个OSS，就能提供更多的网络，更大的吞吐量，更强的处理能力以及更多的容量，因此使用更多的OSS就可以实现更大的吞吐量。

　　一个Lustre装置由以下三个关键系统组成: 元数据子系统, 目标存储子系统和Lustre计算客户端。设计和配置这些组件并不是一件容易的事情。因为要考虑到方方面面来使其性能达到最佳，比如服务器配置、条带宽度、OST大小、RAID配置、网络以及对集群软件栈冗余与交互作用的需求。如果这其中一点或者更多的方面没有考虑适当，那么设计和配置出的性能可能达不到你的预期或要求。