可靠性、可用性和可维护性
从用户的角度来看，存储系统提供服务，而且任何故障都会产生严重的影响。最理想的状况是服务故障不会是一个问题。但服务故障实实在在存在。企业级存储和中端存储之间的显著区别在于存储系统如何预先分析、预测和处理故障，以及故障发生时如何运行。

IBM Enterprise Storage Server® (ESS)、IBM TotalStorage DS8000系列和DS6000系列等企业级存储系统设计使用RAS方法。它基于IBM System z设计以实现可靠性、可用性和可维护性。

高度可靠和可用的存储系统的设计要点是协调硬件和软件来管理冗余和实现自动恢复。例如，通过利用硬件固件和自动化软件，企业级存储系统可以对操作进行动态调整，以提高应用程序性能或预先确定故障并采取相应的措施，无需管理人员进行干预。

首选路径操作
多路径软件
为了实现最大可用性，大多数用户通过多个光纤通道或FICON HBA，将他们的主机服务器连接到存储系统。但是，大多数操作系统本身并不能处理连接到一个数据卷的多条路径。主机服务器将看到数据卷多次。这将危及数据的完整性，因为会向不同HBA上的同一数据发送多次写请求，而且忽略了写操作的正确顺序。

多路径软件使企业级存储系统能够管理和利用冗余，增加I/O带宽。这些通过一个额外的层使用多条路径来实现。该层将多台HBA看到的多个数据卷重新整合到一个逻辑卷中。它还管理路径故障切换、一条路径是否发生故障以及在可用的路径中均衡I/O请求。

企业级存储系统使用多路径软件，能够管理到同一台设备的多条路径，以及显示该设备向存储系统中的主控制器发送提出的I/O请求的首选路由。此外，该软件能够检测是否存在控制器故障切换，并将I/O请求重新路由到备用控制器。一旦主控制器恢复在线，它将I/O请求导向首选路由器。

系统设备驱动程序（Subsystem device driver，SDD）是IBM为某些企业存储系统提供的免费多路径软件，包括DS6000和DS8000，旨在提供以下功能：

当处理I/O请求时，首选路径算法对现有的流量进行监控。它还可以将读或写请求从一条路径转移到另一条路径。

动态数据路径操作
正如多路径软件一节讨论的，在配置企业级存储系统期间，主机将经常被分配到一台特定的服务器。这种固定的分配旨在优化主机应用程序的性能。存储系统的首选路径算法进一步增加了这一功能。这些算法完善了数据在企业级存储系统之间的传输。图1阐述了首选路径操作。图2描述了为每个磁盘提供四条路径的存储系统体系结构的内部互连。

内部首选路径选择算法设计在数据路径的每个阶段，选择从存储系统存储和检索数据的最高效和最优的路径。当处理I/O请求时，首选路径算法对现有的流量进行监控。它还可以将读或写请求从一条路径转移到另一条路径。

图1: 首选路径数据操作主机（SDD）、LUN确定的路径、RAID控制器卡、光纤通道交换机、动态确定的路径

例如，读请求可能通过路径1到达磁盘。但当它从磁盘取出数据时，数据可能通过路径2离开磁盘，从而避开了通过路径1的其它I/O操作。

图2: IBM TotalStorage DS6800为每个磁盘提供四条数据路径 RAID控制器卡、路径、光纤通道交换机一些中端存储系统的不足在于读写操作期间，数据路径上会产生瓶颈。通常，当一个中端存储系统接收到一个I/O请求时，请求沿着系统初期配置期间确定的一条静态数据路径发送。在应用程序频繁运行期间（即繁忙时）会产生瓶颈。在收到I/O请求后，中端控制器沿着其固定的数据路径发送请求，与队列中同时存在的请求数量、数据路径上传送的数据、或者备用数据路径上的负载无关。

近来，一些中端存储系统实施了一种基本形式的路径选择，但路径选择基于哪条路径拥有最少的I/O请求。这一方法有一个问题。当I/O请求由一台连接的主机发起时，确定使用那条路径并不考虑请求是否读一个小型的数据库数据块，或者写一个大型的20GB 混合燃料引擎CAD图形。

IBM 企业级存储系统使用首选路径功能，能够在数据使用时动态更改路径，帮助减少或消除中端存储系统中发现的大量瓶颈。

IBM 企业级存储系统使用首选路径功能，能够在数据使用时动态更改路径，帮助减少或消除中端存储系统中发现的大量瓶颈。

为每个磁盘驱动器提供四条数据路径
企业级存储系统和中端存储系统之间的另一个区别是为读写数据提供的路径的数量。中端存储系统采用双环体系结构，为信息提供两条路径。由于双冗余不能承受数据路径上发生多次故障，因此这些系统面临数据丢失和可用性的巨大潜在风险。

IBM 企业级存储系统设计在多个数据路径故障发生时实现灵活性。图3显示了四条数据路径体系结构。每个控制器都连接到一台光纤通道交换机。而且每台交换机都通过系统的中板连接到一个磁盘驱动器。

中板从磁盘驱动器提供两条单独的连接，这些磁盘驱动器同时连接到两台交换机。如果封装中的任何一个RAID控制器卡或光纤通道交换机发生故障，其它控制器或交换机将维持与所有磁盘的通信。

图3显示了到扩展封装的连接路径。从左侧和右侧，您可以看到从交换机和光纤通道芯片到左上方和右上方的设备适配器端口的路径。每个控制器有两条到每个扩展封装的路径。这意味着系统通常可以承受一条路径发生故障； 它意味着由于线缆或光纤端口发生故障，导致四条路径中的一条断开。此外，在数据路径上发生两或三个故障时，系统仍然可以继续处理数据。

图 3：DS6800交换磁盘连接 RAID控制器、设备适配器芯片、环路引擎、光纤通道交换机、封装中板

这类企业级体系结构的优势在于数据路径上一个、两个和三个故障的潜在保护，涉及：

IBM 企业级存储系统通常可以承受一个完整的RAID控制器和光纤通道交换机发生故障。

这类企业级体系结构的优势在于数据路径上一个、两个和三个故障的潜在保护，涉及：

企业级存储通常使用广泛的方法来预先分析可能发生的故障，同时使用先进的软件算法来自动重新配置系统，从而降低故障产生的影响和维持数据完整性。

降低故障影响和维持数据完整性
过去，企业级存储系统使用冗余、交换和高度可靠的部件来支持灵活性。当中端存储系统开始设计具备类似功能的系统时，厂商们开始将它们的产品描述为“企业级”存储。

企业级存储系统的区别一目了然。中端存储软件通过硬件故障切换、使用冗余部件或利用RAID来维持系统的正常运行。企业级存储系统做得更好，它使用广泛的方法来预先分析可能发生的故障，同时使用先进的软件算法来自动重新配置系统，从而降低故障产生的影响和维持数据完整性。

第一次故障数据捕获
如果故障将发生，正确诊断故障的能力是一项基本需求。它也是提高可用性的基础。IBM 企业级存储系统将先进的功能整合到启动诊断和运行时中，以迅速确定可能发生的故障。

第一次故障数据捕获（First Failure Data Capture，FFDC）以战略错误检测程序为基础并集成到硬件中。任何被普遍使用的错误检测程序检测到的错误都被捕获到故障隔离注册器（Fault Isolation Register，FIR）中。 服务处理器（SP）可以对FIR进行查询。

FIR很重要，因为它们使SP能够确定错误，从而采取相应的措施。错误记录到系统的非易失性随机存取存储器（NVRAM）和SP事件历史记录日志中。诊断错误日志分析（Diagnostic Error Log Analysis）程序对错误日志条目进行分析，并可以调用适当的操作，包括总线重试、错误检测和纠正（ECC）或系统固件恢复程序等。

长期监控
需要对所有子系统操作进行长期监控，以尽早检测出潜在有害的错误。DS6000和DS8000系列存储系统中的冗余服务处理器将对所有子系统进行长期监控，即使一颗处理器或一台控制器发生故障也是如此。

在引导流程期间和在线时，IBM 企业级存储系统将继续对系统的操作进行监控，以发现异常事件。当检测到错误时，服务处理器能够采取适当的措施。

同时还对环境进行监控，确保维持最佳的工作电源、电压和温度。AC功率损耗等关键事件将触发从硬件向受影响的部件发送相应的信号，以阻止任何数据丢失，无需操作系统或固件干预。系统记录并报告非关键环境事件，从而用户可以对其进行评审，并确定是否需要采取进一步措施。

当电压超出工作规范时，电压监控提供告警和有序的系统关闭。

同时还对温度进行监控。如果周边环境温度超出了预先设定的工作温度范围，风扇转速将提高。温度监控还通知潜在的环境问题的内部微码。当工作温度超出严重级别时，系统将有序关闭。

端到端数据检测
例如，当应用程序数据进入DS6800时，特殊的代码或元数据（也称为冗余检测）附加到该数据。当应用程序数据在整个系统中传输时，这一元数据一直关联应用程序数据。当元数据在系统中传输时，各种内部部件对元数据进行检测，以验证应用程序数据的完整性。

在应用程序数据发送到主机来响应读I/O请求之前，DS6800也对元数据进行检测。而且，元数据包含用于另一层验证的信息，确定将返回主机的数据来源于磁盘上希望的位置。

中端存储系统可能执行基本的数据检测，确保存储系统收到的数据与主机发送的数据是一样的。通过在读写操作期间执行额外的数据检测，DS6000和DS8000系列存储系统确保数据在整个存储系统中移动的完整性。这是企业级存储系统的另一个鲜明的特点。

预测性故障分析和自动功能旨在发生磁盘驱动器故障之前积极采取相应措施。

通过预先重建驱动器的数据，IBM TotalStorage DS6800 通常有助于避免潜在的性能下降。

预测性故障分析
在磁盘驱动器发生故障时，企业级存储系统和中端存储系统之间的差异在处理故障的方法方面越显突出。许多一流的中端存储设备供应商采用RAID技术的基本属性，作为其提供灵活性的唯一方法。

例如，当使用RAID 5的中端存储设备中的磁盘驱动器发生故障时，通过从奇偶数据重新生成该数据，系统将继续为主机数据提供数据。这一方法可以实现数据的持续可用，但同时有一些缺陷。中端存储系统开始依赖奇偶，根据每次读请求来重新生成故障磁盘的数据，这将降低系统的性能。中端系统中的备用磁盘可能用来存储新数据或奇偶信息，直到更换了故障磁盘驱动器为止。许多中端设备重建故障磁盘的数据。

DS6800等企业级存储系统使用IBM Predictive Failure Analysis®和自动功能在磁盘驱动器故障发生之前积极采取措施。通过从系统的错误检测日志中检查信息的多个位，系统可以确定与磁盘驱动器的性能有关的故障。

基于这一信息，系统将利用RAID技术，并在系统的一台全局备用设备上重建即将发生故障的磁盘的数据。通过在故障发生之前重建驱动器的数据，DS6800可以最大限度地减少任何可能的性能下降。此外，这种自动化功能可以阻止数据丢失，即使在写操作期间发生磁盘故障，或者其相关的奇偶信息未写入或验证也是如此。

浮动备件
IBM 企业级存储系统为备用磁盘驱动器实施智能浮动技术。浮动备件意味着当磁盘驱动器发生故障时，其包含的数据在一个备用的磁盘驱动器上重建，然后更换故障磁盘。更换磁盘成为备用磁盘。数据不会复制回到故障磁盘驱动器占用的原始位置。

当移动一个磁盘驱动器时，IBM的企业级存储系统可能选择支持热备用。它还可能选择将备用磁盘移动到一个更有利的位置。这将有利于在DA对和封装中更好地均衡备用磁盘。更好的方案是将目前作为阵列成员的磁盘驱动器转换成备用的磁盘驱动器。在这种情况下，该磁盘驱动器上的数据将被移植到现有备用磁盘驱动器上的后台。这一流程不会导致正在移植数据的磁盘驱动器发生故障。

磁盘清理
IBM 企业级存储系统将对磁盘驱动器上的所有扇区进行清理，不会影响应用程序的性能。通过使用ECC，系统可以即时确定坏位并予以纠正。这可以降低一个扇区中积累的多个坏位超出ECC的纠错能力的几率。

如果一个扇区包含的数据超出了ECC的纠错能力，预测性故障分析和自动功能将联合RAID技术采取纠正措施，并开始在同一磁盘的备用扇区上建立一个新的副本。这一清理流程适用于阵列和备用磁盘驱动器。

复制操作期间维持数据一致性
通过在副本中保持相关写操作的顺序，Consistency Group是在备份副本中维持数据一致性的功能。

数据库等许多应用程序处理已经生成的数据仓库。为了开始或继续处理，其中一些应用程序要求仓库保持一致的状态。有效的业务连续性或灾难恢复计划依赖数据一致性来迅速故障切换或恢复到一台主设备。通常，数据一致性意味着在数据副本中保留相关写操作的顺序。

大型机支持
企业级存储系统和中端存储系统之间的主要区别是支持大型机服务器。由于大型机系统通常都用来运行最重要的应用程序，它们的硬件、操作系统和软件设计满足最苛刻的应用程序需求和用户期望值。这就是大型机与外部存储系统通信和交互不同于开放系统服务器的原因。企业级存储系统的硬件和软件专门设计用来满足大型机的独特需求。

例如，IBM System z服务器要求存储系统支持其高级RAS设计和应用程序处理。通过支持以下功能，企业级存储系统可以满足这些重要的大型机需求：

Parallel Access Volumes支持同时向同一卷发送多个并行I/O请求，以改进数据共享和减少资源争夺。

FICON主机支持
服务器使用主机总线适配器（HBA）来连接到其相关的存储系统。在开放系统环境中，服务器中的光纤通道（FC）HBA与使用光纤通道协议的存储系统进行通信。过去，IBM大型机环境使用ESCON。今天，IBM大型机环境主要使用光纤连接（FICON）协议与存储系统进行通信。

Parallel Access Volumes
简单而言，Parallel Access Volumes （PAV）支持同时从同一z/OS?系统映像上运行的应用程序向同一卷发送多个并行I/O请求。这种并行性有助于zOS应用程序更好地共享相同的逻辑卷，同时减少资源争夺。向同一卷发送多个并行I/O请求的能力几乎可以取消I/O在操作系统中的排队，从而缩短I/O响应时间。

Multiple Allegiance
通常，如果zOS主机映像（服务器或LPAR）向一个存储卷发送I/O请求。存储子系统已经在为该存储卷处理来自另一个主机映像的I/O请求，那么存储子系统将返回一个设备繁忙标识，并且将重试这一I/O请求。这将延迟新的请求并增加处理器和通道开销。

Multiple Allegiance允许企业级存储系统接受从不同主机向同一卷发送的多个并行I/O请求，从而增加并行机制和降低通道开销。

Multiple Allegiance允许企业级存储系统接受从不同主机向同一卷发送的多个并行I/O请求，从而增加并行机制和降低通道开销。

I/O优先级排队
IBM的企业级存储系统通常可以同时管理多个I/O操作。不同时运行的那些操作按它们入队的顺序进行处理。通过I/O排队，高速系统不能垄断存储系统或数据卷的访问。每个系统的机会都是均等的。

通过z/OS Workload Manager，管理员可以向每个z/OS系统映像分配优先级。例如，IBM TotalStorage DS6000和DS8000系列系统将根据其优先级策略来处理每个z/OS映像提出的I/O请求。

IBM System i 服务器支持
IBM System i 服务器提供高度集成的、功能强大的开放系统平台。您可以在这一平台上运行大量的业务应用程序。尽管它们的操作系统被认为是一个开放操作系统，如UNIX和Microsoft Windows，IBM System i 服务器以一种截然不同的方式来看待系统资源。其它开放系统服务器将主内存和磁盘设备视为单独的资源。但是，IBM System i 服务器将主内存、物理磁盘驱动器和外部存储卷视为一个超大型虚拟地址空间，称为“单级存储。”

为了支持单级存储体系结构， System i 服务器按520字节数据块来存取数据；它包括一个512字节的数据块，以及用于操作系统的8字节。重新配置存取数据块大小的能力可以满足System i 服务器的需求。这有助于区别企业级存储系统和中端存储系统。

整合
企业级存储系统包括处理器、磁盘驱动器和I/O，以及成千上万个互连、数百个错误检测和纠正流程和数TB数据。需要快速访问分散的信息来提供决策支持、实现全球运行， 以及考虑到处理爆炸性增长的数据卷的需求，信息流动的速度迅速增长，已经超出了中端存储系统的能力范畴。

处于苛刻的IT环境中的用户可以从企业级存储系统和其提供的功能中受益，如在多个故障期间保持数据的可用性，或使用自动功能，在部件发生故障之前采取自动的纠正措施。

企业级存储系统设计的各个方面都考虑了企业级RAS，从硬件部件和子系统到系统级部件。系统体系结构关注用户对日益复杂的IT基础设施和应用程序环境中的高可用性、灵活性、低故障风险和数据丢失保护的需求。硬件、固件和软件都精挑细选。系统经过严格测试，以提供无间断业务，即使面临多个故障也是如此。

企业级存储系统不仅仅是广告。它是产品的标志。这些一流的存储系统都是在产品开发的每一步关注系统的RAS，并实施全面、严格的测试来确保它们满足客户期望值的结果。

与中端存储系统相比，在标准操作方面，借助首选路径I/O和为每个磁盘驱动器提供四条路径等功能来消除瓶颈和最大限度地增加吞吐量，IBM的企业级存储系统为您提供实实在在的优势。但是，当设备发生故障，而且没有一个系统能够独善其身时，IBM的企业级存储系统充分展示出它的优势所在：针对多个故障的预测性故障分析、自动功能和灵活性。中端存储阵列适用于多种应用程序和客户环境。但对于重要的应用程序来说，企业级存储系统提供实实在在的价值。而且这一价值在不断增加。

因此，当下一次存储产品标注为企业级产品时，我们应透过广告来洞悉实质。IBM用了数十年的时间来开发技术，以满足最苛刻的重要应用程序环境需求。通过利用其数十年丰富的大型机经验，IBM将其知识用来构建行业领先的企业级存储产品，如IBM TotalStorage DS6800和DS8000系列。