3 高端阵列架构实例分析-华为OceanStor 18000

图6 华为高端阵列OceanStor 18000系统架构

华为OceanStor 18000采用智能矩阵式系统架构，如图6所示，也是一种基于完全分布式的架构，所有的计算资源 (CPU)，缓存，带宽等资源都均匀分布于每个节点中，在该架构下，不再存在全局缓存争用问题，串行化达到最低，使得系统获得了理论最高加速比，具有更好的可扩展性。华为OceanStor 18000是目前业界扩展能力最强，性能最高的高端阵列，最大可以扩展到16个控制器，3TB Cache, 3216块硬盘，随机IOPS达到100万IOPS以上。

3.1 基于PCIe的全交换架构

OceanStor 18000的全交换架构基于PCIe协议，PCIe协议是一种高性能、高带宽，成熟、稳定的串行通讯互连标准。OceanStor 18000以双平面PCIe交换作为节点间互连。这种架构设计具有如下的优点：

高可靠：所有部件全冗余，控制器间负载均衡和Failover，单个控制器失效不影响业务运行

高扩展性：具备scale-out能力，从2个控制器起配，最多支持16个控制器，系统的容量、性能按需扩展

高带宽：整个交换平面可提供192GB/s的交换带宽。

方便部署：OceanStor 18000的PCIe链路通过光纤连接，同一OceanStor 18000系列产品的机柜允许跨数十米进行部署，允许布局在不同房间、甚至不同楼层。使得客户真正实现完全Scale-out的部署，降低了对数据中心机房的环境要求。

3.2 块级虚拟化

前面讲到单盘失效可以认为是一个常态，单盘失效后，RAID组会重构数据，但传统的RAID重构耗时较长，如果重构过程中又发生了硬盘失效，那么整个RAID的数据就丢失了。OceanStor 18000采用了块虚拟化技术，可以很好的解决以上问题。下面我们看一下块虚拟化的实现细节。

全虚拟化设计，就是把硬盘分割成若干小块，称为CHUNK，然后按照特定算法，从若干硬盘上选取若干CHUNK，按照一定的RAID方式组成CHUNK Group。而LUN，则是由若干CHUNK Group组成。块级虚拟化架构给硬盘可靠性带来的最大提升是使系统中每个硬盘都在“均衡”的工作，每个硬盘的忙闲度基本一致，不会像传统RAID那样，各个RAID组中的硬盘工作负荷不同，导致某些繁忙的硬盘“过劳死”。

块级虚拟化带来的另一大好处是重构时间大幅缩短，RAID降级状态不但使数据处于“危险”的边缘，同时也会降低RAID组的性能。块级虚拟化使得重构产生的负荷分散到更多的硬盘上，单盘重构的压力变小，大大缩短了重构的时间，大幅降低RAID组失效概率，从而增加了系统的可靠性。

4 总结

高端存储一般应用于用户核心业务环境，承载着关键数据，对阵列的稳定性，性能和扩展性要求极高，而存储架构是这一切的基础。可以预见，模块化分布式Scale-out架构所带来的稳定性，性能容量线性扩展的好处将主导未来一段时间高端阵列的设计，同时更多容量、新型介质的出现(SSD)决定了高端阵列中将越来越多的应用虚拟化技术提高存储资源利用率。