Infiniband技术的发展

Infiniband高速网络是近几年产生的一种新兴技术，因其具有高带宽、低延迟的特色，得到了计算领域的青睐。 

 

    近年来，世界上的超级计算已经由价格昂贵、无扩展性的单片机架构转变为采用商业处理器而拥有无限扩展能力的集群系统，称为高性能计算机集群（HPC：High Performance Computing）。美国Top500.org组织每年分别两次排列出当今世界上最强大的超级计算机，该排名按照超级计算机的实际计算能力（FLOPS：每秒浮点运算）按递减顺序排列。这个列表显示出集群架构正在逐渐取代单片机架构的趋势。由于HPC系统能够快速准确计算出结果，有助于解决商业和科学研究中面临的问题，所以，HPC系统越来越多的被政府部门、商业组织和科学院所采用。

 

    然而，有一些部门和组织所面临的是更具挑战性的计算问题，他们需要更强大、高性能价格比的HPC系统。这就意味着人们必须要关注大集群的建设，这里的大集群是指规模超过100个节点，达到几百个、上千个甚至上万个节点的集群系统；将集群系统扩展到这样的规模而带来的困难和复杂程度是难以想象的；使这样规模的集群能够正常、稳定的工作也是一个痛苦的过程。在超级计算机发展的道路上不乏失败了的大型HPC系统的“尸体”，也说明了这是一个值得研究的问题。

 

    选择一个正确的互连网络是能否达到甚至超过您对集群性能预期的关键。如上所述，一个集群中需要支持多种类型的数据流，所以，我们可以选择在同一集群中同时采用不同类型的互联网络，这些不同的网络将各自支持不同的网络协议，同时，这些不同的网络也拥有不同的网络性能和特性。例如，基于千兆以太网的网络，可以通过TCP/IP通道来传输信息，但缺点是需要占用大量CPU资源来处理网络通信，导致整体处理效率的下降；Myrinet 网络采用卸载引擎（offload engine）技术降低了CPU资源在处理通信方面的消耗，并且拥有千兆以太网两倍的带宽。在目前的Top500排名上千兆以太网技术和Myrinet都很普遍；然而Infiniband，由于是一个标准化的、开放的高性能互联技术平台，从小规模到大规模的可扩展性集群中也拥有很强的生命力。

 

    Infiniband是一种新型的总线结构，它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种将服务器、网络设备和存储设备连接在一起的交换结构的I/O技术。 它是一种致力于服务器端而不是PC端的高性能I/O技术。

 

    Infiniband最初于2000年上市，但由于当时经济的不景气和IT预算紧缩，人们对它的兴趣很快就消散了。发展至今，I/O技术在企业服务器中无论是速率上还是吞吐量上都取得了稳步提高。但是，毫无疑问，现有的基于PCI架构的I/O技术仍然是系统处理器、系统主存以及I/O外设之间的主要瓶颈。这种I/O架构已经不能满足互联网、电子商务、存储网络等大量的I/O需求。随着对称多处理器（SMP）、集群计算、网格以及远程备份的广泛应用，这种基于PCI架构的I/O技术的缺陷和局限性日益突出。目前人们对互连技术的兴趣开始恢复，而且非常希望互连技术能够帮助数据中心降低成本或实现高性能的计算。随着各种高速I/O标准相继登场，Infiniband逐渐崭露头角。

 

    Infiniband技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求 。   目前，集群计算（Cluster）、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，Infiniband技术为实现这些高端需求提供了可靠的保障。

 

Infiniband发展趋势

 

    基于共享总线（Shared-Bus）的架构的诸多局限性决定了这项I/O技术已经不能适合日益庞大的计算机系统的I/O需求。这些局限性主要包括速率极限、可扩展性、单点故障等几个主要方面。而基于交换架构的Infiniband技术在避开PCI架构上述问题的同时，提供了其他方面的更高性能。基于Fabric与基于共享总线I/O技术之间的简要对比如下表所示。

 

1．Shared-Bus架构的局限性

    PCI-X 133的带宽只有2GB/s，虽然目前公布的PCI-E的带宽峰值到4GBps，但这没有从根本上缓解服务器端的I/O带宽瓶颈。同样，PCI架构(主要是PCI-X)的可扩展性也非常有限，它主要通过两种方式来实现：要么增加同层PCI总线（PCI本身就是一种层次结构I/O技术），要么增加PCI-to-PCI桥。前者主要通过在主板上集成额外的Host-to-PCI总线芯片以及增加PCI连接器来实现，而后者主要通过在主板上增加PCI-to-PCI桥接芯片来实现。无论采用什么方式扩展PCI架构的I/O总线，其代价都是比较昂贵的。 

在基于共享总线的I/O结构中，所有通信共享单一总线带宽，由此就造成外设越多，可用带宽就越少，从而带来更严重的系统I/O瓶颈。不仅如此，在基于共享并行I/O总线上，大量的引脚数目也带来了一定的电气特性和机械特性等问题，使得PCB空间、信号频率以及信号可传输距离都受到很大程度的制约。

 

 

2、Switched Fabric体系结构的高可扩性

    Infiniband所采用的交换结构（Switched Fabric）是一种面向系统故障容忍性和可扩展性的基于交换的点到点互联结构。

    Infiniband技术是一种开放标准的、目前全球带宽最高的高速网络互联技术，Infiniband产品是目前主流的高性能计算机互连设备之一。目前基于Infiniband技术的网络卡的单端口带宽最大可达到20Gbps，基于Infiniband的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbit每秒的带宽。到2006年，Infiniband技术可以达到单端口120Gbps，其单端口的带宽甚至远高于目前的主流交换机的总带宽,可以为目前和未来对于网络带宽要求非常苛刻的应用提供了可靠的解决方案。

    Infiniband技术是采用RDMA传输机制实现了低延迟，高带宽的新型网络标准，并得到了行业中所有领军企业的支持；部分服务器厂家已经或计划将Infiniband芯片移植到主板上。

    Infiniband 架构的这种快速增长主要得益于越来越多的企业级数据中心的建立部署和持续发展的高性能计算的应用。

 

 Infiniband技术优势

 

    Infiniband是一种交换结构I/O技术，其设计思路是通过一套中心机构（中心Infiniband交换机）在远程存贮器、网络以及服务器等设备之间建立一个单一的连接链路，并由中心Infiniband交换机来指挥流量，它的结构设计得非常紧密，大大提高了系统的性能、可靠性和有效性，能缓解各硬件设备之间的数据流量拥塞。而这是许多共享总线式技术没有解决好的问题，例如这是基于PCI的机器最头疼的问题，甚至最新的PCI-E也存在这个问题，因为在共享总线环境中，设备之间的连接都必须通过指定的端口建立单独的链路。

 

    Infiniband的四大优点：基于标准的协议，每秒10 GB性能，远程直接内存存取（Remote Direct Memory Access，简称RDMA）和传输卸载（transport offload）。

 

    标准：成立于1999年的Infiniband贸易协会 由225家公司组成，它们共同设计了该开放标准。主要掌控该协会的成员包括：Agilent, Dell, HP, IBM, InfiniSwitch, Intel, Mellanox, Network Appliance和Sun Microsystems公司。其他的100多家成员则协助开发和推广宣传该标准。

 

    速度：Infiniband每秒10gigabytes的性能明显超过现有的Fibre Channel的每秒4 gigabits，也超过以太网的每秒1 gigabit的性能。

 

    内存：支持Infiniband的服务器使用主机通道适配器（Host Channel Adapter，简称HCA），把协议转换到服务器内部的PCI-X或者PCI-Xpress总线。HCA具有RDMA功能，有时也称之为内核旁路（Kernel Bypass）。RDMA对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。

 

    传输卸载（Transport Offload）: RDMA 能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担。要是在OS中处理10 Gbps的传输速度的数据，就需要 80 GHz处理器。

 

    中央处理器CPU与其存储子系统的设计是集群系统性能的指示器；但是，随着集群规模的扩展，保证CPU的资源不被占用的关键是互连网络。互连网络的任务就是将集群中海量的应用数据以尽可能快的速度从节点“A”传到节点“B”，那么从不同部分产生的延迟就是需要考虑的关键。所以，为了达到最佳的应用效率，就要对可能产生延迟的部分做到延迟最小化。幸运的是，虽然产生延迟的部分有很多，但是，大多数延迟的瓶颈可以在互连网络这一级得到解决。 

 

硬件组成

    为了使Infiniband有效地工作，Infiniband标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机、相关线缆和子网管理器。

 双端口HCA卡HCA提供了一个对Web server等主CPU和存储器子系统的接口，并支持Infiniband结构所定义的所有软件动词(Verb)。这里所说的软件动词是对客户方软件和HCA功能之间接口的一种抽象定义。软件动词并不为操作系统指定API，但它定义了操作系统厂商可能用来开发适用应用程序接口(API)的操作。 

 

   Infiniband交换机  交换机是Infiniband结构中的基本组件。一个交换机中的Infiniband端口不止一个，它能根据本地路由器包头中所含的第二层地址(本地ID/LID)将数据包从其一个端口送到另外一个端口。交换机只是对数据包进行管理，并不生成或使用数据包。同信道适配器一样，交换机也需要实现子网管理代理(SMA)以响应子网管理数据包。交换机可通过配置来实现数据包的点播或组播。

 

Infiniband线缆  Infiniband标准定义了三种链路速率，分别为：1X、4X和12X。此标准也定义了包括铜导线和光纤在内的物理介质。此外，它还定义了用于光纤和铜导线的标准连接器和电缆。铜缆上的1X链路采用四线差分信令(每个方向两线)，可提供2.5Gbps的全双工连接。其他链路速率都建立于1X链路的基本结构上，一条Infiniband 1X链路的理论带宽是2.5Gbps。但实际数据速率为2Gbps（因为链路数据采用8b/10b编码)。由于链路具有双向性，所以全双工数据速率为4Gbps。相应的，4X和12X链路的规定带宽为10Gbps和30Gbps。

 

 子网管理器  子网管理器对本地子网进行配置并确保能连续运行。所有的信道适配器和交换机都必须实现一个SMA，该SMA与子网管理器一起实现对通信的处理。每个子网必须至少有一个子网管理器来进行初始化管理以及在链路连接或断开时对子网进行重新配置。通过仲裁机制来选择一个子网管理器作为主子网管理器，而其他子网管理器工作于待机模式(每个待机模式下的子网管理器都会备份此子网的拓扑信息，并检验此子网是否能够运行)。若主子网管理器发生故障，一个待机子网管理器接管子网的管理以确保不间断运行。