存储专栏:人多钱傻?谈谈华为40PB单一文件系统验证的意义

西瓜哥 发表于:14年05月14日 21:00 [原创] 存储在线

  • 分享:
[导读]今天我们来解读一则新闻,也就是华为验证40PB单一文件系统的新闻。我也听到有人说,华为有必要这么折腾吗,感觉这么做不就是人多钱傻吗?

存储在线 专栏文章:今天我们来解读一则新闻,也就是华为验证40PB单一文件系统的新闻《华为大数据存储实现统一管理40PB文件系统》。

华为上周发布这个新闻后,在业界引起了较大的反响。但我也听到有人说,华为有必要这么折腾吗,感觉这么做不就是人多钱傻吗?(西瓜哥没敢用人傻钱多这个词,怕被西瓜扁,O(∩_∩)O哈!)

大家知道,存储厂商一般宣传自己的性能强大,为了证明这点,都会通过第三方机构进行性能的PK测试,比如华为的OceanStor 9000去年就在SPEC(Standard Performance Evaluation Corporation,标准性能评测机构)测试,创造了一个500万OPS的世界最快NFS记录。


这个性能的PK是有意义的,因为是第三方机构,客户容易认可,在市场竞争中有非常大的意义。

但极限容量验证,真的有必要吗?HDS VSP号称可以虚拟化256PB的第三方存储,好像没有看到类似的验证。而且容量的验证可是没有第三方的验证机构,你就说支持这么大容量就可以了,反正客户一般也用不了这么大容量。再说了,就算你验证了,客户也未必信啊。因为没有第三方验证。

那么,华为做这个吃力不讨好的极限验证有啥意义呢?西瓜哥开始也以为是否华为人多钱傻,但这两天咨询了一些业内人士的意见,发现其实不是这么简单。

我们知道,华为OceanStor 9000号称支持288个节点,40PB的容量。而且支持单一文件系统。要验证这个容量的极限,物料的成本肯定是很高的。

为了给大家一个直观的印象,我们看一下其中一个华为CE12800交换机上的网线,就知道这是一个多么庞大的工程。


再用数字来阐述一下硬件配置:每个节点配置35块4TB SATA硬盘,1块200GBSSD,两张10GE卡,48GB内存,2颗IntelXeon E5-2420-6Core CPU,共计10080块4TBSATA硬盘,288块200GB SSD,13824GB内存,576颗CPU(共3456核)。

再说一下网络:如果采用非标准组网,后端和前端分别使用了一台华为CE12812 10GE交换机,每台交换机包含576个10GE端口。每个节点出两根光纤连接交换机,作为后端通道,288个节点共计576根光纤。另外出一根光纤连接交换机作为前端通道,288个节点共计288根光纤。客户端采用72台压力机,每台压力机出4根光纤连接交换机,共计288根光纤。整个组网前后端共计1152根光纤,其中576个为后端,576为前端。如果采用标准组网,那么网络的规模还需要翻翻。(这里一根包含收发,其实就是一对的意思)

不知道这10000块硬盘有多少耗电量,不过,光这1000多对光纤,估计就可以把西瓜哥压死了。

为什么华为愿意去做这种好像是人多钱傻的事情?问了一下业内的人士,总结了几点原因:

1. 华为OceanStor 9000的主要竞争对手是EMC ISILON,虽然现在华为的产品性能上已经胜出,容量上华为宣传40PB,而ISILON宣传20PB,大家都是单一文件系统。但据说ISILON验证过15PB的容量,而且ISLION业界应用很多。华为的是新产品,需要验证一下,给客户以信心;

2. 客户的数据增长很快。现在很多客户虽然没有40PB的数据,但预计3-5年内超过20PB数据的客户很多。因此,客户也非常关注系统的扩展能力;

3. 验证40PB下解决方案的能力。大家知道,几十个节点和几百个节点对系统的要求是不一样的,有一个量变到质变的过程。比如你28个节点自动部署很简单,288个节点部署可能就不成功,就像VDI的启动风暴一样。这个只有在极限的情况下,才能暴露很多小规模场景下不会出现的问题。

4. 除了验证40PB的单一文件系统的容量极限外,其实也同时可以验证大规模系统的稳定性,故障修复的快慢,节点增删对系统的影响,性能是否线性增长,可维护性和可服务性,大规模系统在线升级,甚至可以跑具体的应用,验证超百亿文件的支持情况等等。其实,由于Oceanstor 9000采用的是通用的硬件构造的一种全分布的大数据平台,因此,这种大规模的验证更多是验证软件的健壮性。

由于这是一种内部的验证,华为比较聪明,找来了CPU厂商英特尔、硬盘厂商希捷以及NVDIMM厂商AgigA Tech来共同见证,增加可信度,并且可以得到厂商的技术支持。INTEL和希捷大家都比较熟悉,而AgigA Tech是提供非易失内存的厂商,也就是系统掉电后,内存的数据可以保留。由于OceanStor 9000采用分布式元数据的架构,因此,每个节点上都有元数据,未来提高可靠性,节点掉电后,内存的数据需要得到保护。而AgigA Tech采用最新的NVDIMM技术,不需要电池(维护麻烦,有充放电次数问题),采用超级电容的方式,掉电后内存的数据会快速写入板载的闪存芯片里,大大提高系统的可靠性。

综上所述,华为的这个40PB单一文件系统验证意义还是很大的,也只有大厂才有能力做这种极限测试,毕竟这个是非常劳民伤财的事情。但这个也会给客户一些信心,特别是在现在这个宣传指标虚高的社会环境。据说华为以后还要搞100PB,200PB甚至EB级别的极限验证。

不知道各位亲是否也认为华为这些极限验证也是人多钱傻的事情呢?

希望大家积极反馈你的意见和建议,微信扫描如下二维码,关注微信公众号“高端存储知识”,与作者微信互动。通过掌上DOIT移动客户端,您可以订阅西瓜哥专栏,第一时间获得知名专家和业界领袖的深度剖析与趋势分析。

[责任编辑:西瓜哥]
西瓜哥
西瓜哥周末把HDS VSP G1000的资料都看了一遍,大约有几十篇英文PDF文件吧。因此,今天就把我的学习心得和大家分享一下,给那些大家没有时间看的网友做一个概括的了解。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.