架设超大规模数据中心SAN

思考的牛

几乎所有的大企业都实施了基于光纤通道SAN技术的共享存储系统。通常在安装之初，这些系统的配置都相当有限，只有数十台服务器和一个或多个大规模SAN连接存储阵列。但是随着SAN技术显示出越来越高的终端用户价值，以及更有效管理存储数据的能力，数据中心SAN也迅速发展，拥有了更多的服务器和更大的存储容量。

尽管我们很高兴麦当劳已经发誓要取消超大号的快餐食品，但全球的数据中心仍然不断扩展自己的SAN，试图只用一个存储网络连接数百甚至数千台服务器和存储设备。

标准vs.现实

根据美国国家标准协会(ANSI)的标准，光纤通道SAN可在单一fabric中包含最多239台交换机，并且支持1,500万台设备。这些标准是根据一个3字节光纤通道地址内可获得的比特数而设定的，光纤通道地址与每台交换机的唯一域名ID以及相连节点(如服务器和存储目标)的设备标识符相关。尽管出于竞争的原因，所有的交换机厂商都表明自己符合这些标准数量，但是没有一家厂商能够落实到实际的产品中。

暂时假设一下厂商真的可以支持这些标准，那么要使一个由数百台交换机构成的SAN稳定下来所需的时间，以及对数万台设备注册的复杂过程，将是任何企业环境都难以承受的。不过，许多客户正在努力构建大规模的fabric，以支持自己的业务应用，方法是通过连接控制级的fabric或者构建复杂的部门级交换机网络。

为何构建大规模SAN？

存储经理们正试图构建大规模SAN fabric，原因很多。一般来说，大型存储网络的目的并不是提供所有设备之间的连通性，而是大多数情况下，一个大规模多交换机fabric的产生是缘于想通过数百台服务器共享一个或多个存储系统--也就是以多连少的连接策略。

例如一个大企业可能已经投资了数十万美元创建大型自动磁带库，为了和数百台设备共享这一存储资源，就必须通过交换机间链路(ISL)连接多台控制设备或交换机。

同样的，在500多台服务器之间共享几个大规模存储阵列也可能需要在10多个控制级fabric之间建立多个ISL。从客户的角度来看，更有效地共享存储资产是相当简单的，不过在技术上实现这一目标就可能非常复杂。

大规模SAN有大问题

构建大规模多交换机SAN需要进行细致的网络设计，以确保交换机之间分配有足够的带宽，从而优化应用性能。另外，保护不受故障链路影响也需要设计一种网状结构，以便提供通过fabric的替换路径。

为提升性能和设计替换路径而分配ISL会消耗昂贵的fabric端口，减少连接服务器和存储目标的总端口数，所以fabric网格结构越紧致，SAN的总生产力越低。

当客户试图采用16或32端口的fabric交换机构建大规模fabric时，这显然是个很棘手的问题。在这样的配置中，总端口数的三分之一(或更多)可能会专用于ISL。通常控制器端口数越多，在扩展至大规模SAN时就更具效率，因为每个支架上有更多的端口用于设备连接。另外，新的10 Gbps ISL方案简化了交换机至交换机的连接，并且避免了多ISL的中继问题，如可能出现的紊乱的帧发送。

构建大规模SAN时会出现一些可能影响fabric稳定性的意想不到的后果。由于光纤通道内在的结构化特性，以及具体厂商对设备的实施情况，在单一fabric中连接8台以上交换机时也许会造成不稳定的操作。光纤通道是一种链路层架构，很象桥接LAN。二层网络拥有最优化的性能和最低的协议管理费用，这很好地满足了通道上块数据对性能的需求。

因此，连接多台fabric交换机扩展了扁平的网络空间，象桥接LAN一样，扁平的网络架构容易受到整个网络范围内的干扰。在桥接LAN环境中，广播风暴会对所有连接节点带来负面影响，而在光纤通道SAN中，同样的干扰可能来自于fabric内意外变化(如在大规模运作fabric中接入一台带电交换机)而产生的状态改变通知信号和偶然的fabric重新配置。如下文所说，SAN路由通过网络分区解决了大规模fabric的这些问题。

另外，由于单一fabric中连接了更多的交换机，也需要进行更多交换机至交换机的通信，以便正确分配唯一的地址块、处理分区信息、向简单名称服务器(SNS)表中添加新条目，以及交换路由信息等。有时候有限的SNS容量可能会限制单一fabric所能支持的设备数。

大多数情况下，由于fabric增加至1000多台设备，如果发生中断，那么稳定网络所需的连接时间可能会变得很漫长。第一次构建fabric并对服务器和存储设备进行注册时，所需的交换机至交换机的对话大量增加，因为有更多的交换机要添加到fabric中。如果不小心超过了SNS的容量限制，那么fabric也许最终会稳定下来，但是不是所有的设备都会被识别。

控制超大规模SAN

令人高兴的是，新的fabric技术已经很大程度上推动了大规模SAN中SNS、ISL、汇合及广播等问题，这些新技术包括10 Gbps交换机间链路、动态分区，和SAN路由等。在控制设备之间采用一个或多个10 Gbps ISL不仅简化了线缆的铺设，而且克服了中继和负载平衡问题。

关于如何提升ISL链路的性能同时确保帧的正常发送，fabric厂商已经做了一些时间的努力。例如，通过4个中继交换机间链路发送的单一序列帧也许会按随机顺序到达目的地。如果不采用复杂的排队算法，是不可能利用多个交换机间链路来增加带宽的。

另一方面，如果只通过指定的ISL发送序列，就可能造成一些ISL被过度使用，而另一些ISL却未得到充分利用。只要用一个10 Gbps ISL替换多个2 Gbps的ISL，即可解决性能和帧发送等问题。

动态分区

动态分区(由Sanera开创，现在是McDATA产品线的一部分)通过将单一大型控制设备基于硬件技术分割成不同的SAN分区，解决了SNS表的臃肿问题。例如一个256端口的控制设备可被分成多个独立的分区，为不同的部门或应用服务。由于每个分区都有一个更小的SNS，并且独立于其它分区进行操作，因而减小了每个分区的汇合时间。

另外，动态分区还允许在每个分区上运行不同的微码版本，并且每个分区可以重新设置而不影响整台交换机。采用帧标记的基于软件的方案(如Cisco的VSAN)可将一台交换机内的数据流分离，但是无法适应多个微码版本或有选择地进行重新设置。

SAN路由

SAN路由技术(Nishan Systems首创)通过提供一个三层路由功能连接SAN，解决了大规模fabric的问题。SAN路由并不主张创建一个会出现SNS、汇合及重新配置等问题的单一大规模fabric，而是坚持每个SAN分区的自主性，并且同时允许SAN分区之间进行指定的存储对话。

客户要求能够在数百甚至数千台设备之间共享存储资产，并且消除大规模网状SAN所具有的扁平网络问题，SAN路由正与客户的这些需求相一致。正如IP路由解决了桥接LAN的广播风暴问题，SAN路由则能够让客户利用多个分离的SAN构建稳定而大规模的存储网络。

总的说来，这些新方案可以帮助存储经理们达到他们的业务目标，即以更低成本更有效地共享和管理存储资产。这样就能满足光纤通道架构的需求，而不必强迫客户使他们的业务目标适应SAN技术的特殊性质。