中国数据存储服务平台

霍坤星:云时代数据生态基础架构解决方案

12月10日下午,2015中国存储峰会在北京举行。在“云计算与业务连续性分论坛”,北京富通东方科技有限公司技术总监(系统架构师)霍坤星发表了“云时代数据生态基础架构解决方案”的主题演讲。

以下是演讲实录。
 


北京富通东方科技有限公司 技术总监(系统架构师)霍坤星。
 

今天挺荣幸能和黄昆黄总,还有我们的西瓜哥(我是他忠实粉丝)、跟大家在这里交流内容。我们的口号是“数存天下,普领云端”,我们国产存储品牌及解决方案提供商。

“数据生态”这个理念是数普金通提出来的。今天上午领导谈到的生态概念,但是他们讲的生态是各个企业合作共赢的生态圈,我们提出的是“数据生态”理念。如果数据不加以控制,反复不断衍生的话,相信我们地球就会形成雾霾。

预测2020年会有44ZB的数据产生,其实不是大家津津乐道的那样,阿里云、亚马逊都有数百万服务器的规模,我们不谈这些东西,谈到的是这些数据里面有多少是肮脏的、垃圾的,包括重复,还有数据泄漏等等这些负面的东西,不得不考虑到。

一个最简单的例子,我在过生日的时候,往往收到四五十条短信,各个信用卡公司,曾经注册的账号的地方,都会给我发信息,这些信息对我说就是无效的。

在做存储阵列,做解决方案的时候,考虑到的是数据,真正给人类所带来的是什么?到最后,反而形成一种数据灾难。

在44ZB里面,我们利用数据的压缩、个人应用数据、企业应用数据的时候,存储的是有效的,精简过的数据又会给我们带来什么?包括张北云也好,像谷歌的数据中心一样,他们真的环保吗?大家并不知道,张北云的风力发电,挡到多少风刮到北京?是因为大的风力发电机挡住很多的风道。这么多服务器运转的时候,给我们带来的是什么。我们更需要洁净、有效、精简、有序的数据。所以说数据并不是像我们津津乐道的大数据越多越好不是这样的。

数普金通公司的初衷是协助企业怎么做到精简有效,让数据越小越少,怎么做到这样的过程。构筑数据生态,赋予数据生命与智慧,让她们灵活、自由、愉快的生活在自己的家园。

数普金通致力于打造最可靠的数据存储产品线,成为国内领先的数据生态基础架构解决方案供应商。

看一下数普金通倡导的SCPDOC的方法论,就是数据生态向上的阶梯。真正开始做数据中心的时候,一开始都是从存储谈起的,怎么把数据保护好,不同的数据存储到不同的设备,探讨数据是什么样的类型,是结构化、非结构化、还是半结构化的数据,是虚拟化的等,做好深入研究以后,再帮助客户选择最适合的环境的存储产品。

这些存储做好以后,考虑整合,现在用户的数据中心,磁盘阵列的异构化已经非常泛滥了。这个时候,如何打通异构的存储平台,让他们基于这样的底层基础架构做好一个正常流动,所以这是一个数据整合的概念。

整合以后要考虑数据保护,这永远是我们需要面临的主题。数据保护完善以后,我们把数据中心延伸到第三个城市或者延伸到更远的地方,这个时候就是容灾,关注的就是数亿级的容灾层面。

一切做的比较好的时候,我们考虑性能是不是可以提升,功能是不是可以更加完善,所以这是优化的范畴。

最终要做的是一个存储云的过程。按照这条线路,基本上就是SCPDOC。

我们跟用户一起完善数据生态,完善数据中心的存储。

我们关注的方向,研发中心的力量,产品的聚焦在可靠性上。因为我相信世界是平的,当有一个方面非常突出的时候,肯定会损失另外一些方面,当牺牲一些性能和功能的时候,我们希望设备更加可靠,让数据更加安全。

数普生态圈产品系列有DS SAN存储,US统一存储,数据保护备份一体机,一体化的机房,这些比较传统。

先说NS8000 8500 还有DFC500 SFS100,还有云存储。

传统的NS设备中间有一堵墙,数据不能共享。如何做好横向的拓展,做好一个集群呢?用数普NS8000设备,通过多台NS机头把光纤磁盘阵列打通做成大的存储池,统一的文件命名空间,实现全局的负载均衡和整合。

这个产品架构基本上是三个层面,SN的运算层上面4台可以扩展到32个节点,性能可以线性提高,它是两台高性能光纤交换机,底层就是常规的基于SNA的磁盘阵列。目前可以接入数普公司DS3000、5000,也可以接入第三方的光纤磁盘阵列。全Active集群架构,某一个NS引擎出现问题的时候,其他的节点会自动的增加负载,然后替换它的一些性能,这台节点修复以后又会把这些故障自动恢复。

全共享存储空间,可以通过前端的这些NS头,把一些热的数据通过前端负载均衡的方式,通过更多的NS头把性能提升到极致。

高可扩展性,这是两个层面,一个是性能的线性扩展,还有容量的平滑扩展。性能线性扩展从2个开始,8个,12个。可以用数普自己的磁盘阵列,也可以用基于第三方的磁盘阵列。后端的容量通过全闪存阵列也可以扩像SAS和NL-SAS不同的磁盘介质,实现存储的自动分层。

属于经济高端存储保护一体化的跨阵列快照,有一个非常大的好处,用户环境中有一些相对比较陈旧,用的时间比较久的一些阵列,完全可以让它在后台做一个只保护数据副本快照的阵列,跨平台的阵列显得非常有用,可以把系统测试统一分析等等这些数据全通过细粒度快照进行保护。通过这个平台可以实现各种存储阵列流行的功能,都可以在这里面体现。

NS8000具备高性能、易扩展和高效率,带宽理论是100GB的吞吐能力,独有的高速智能混存,让性能优一个很好的提升。易扩展是全Active,现在可以扩到32个引擎,高效率是指在底层可以做到细粒度动态升级,还有独有文件系统镜像功能。

分享全闪存阵列FS之前,先谈一下IT的速度之伤。先看一下CPU。我也是刚刚学习到,有一款PEZY,这是日本发明的一款CPU是千核处理器,运算达到3TFlops,有可能这一颗CPU可能替代我们几百颗CPU的处理速度。以太网万兆已经不是快的了,现在有10万M,40万M,还有100GB,FDR56Gb-EDR100Gb已经不快了,MXC硅光子1.6TB,双向1.6TB单向是800GB。通信已经没有什么可担心的了,完全可以及时输送给CPU大量的数据。

可以看CPU内存、总线、网络,谁是最慢的?就是磁盘阵列,就是传统的磁盘。怎么解决这个问题呢?磁盘非常慢,是因为它是先寻道,年龄大一点的可能见过5英寸的硬盘,286那时候是5.25英寸达到大的硬盘,每个盘片就像一块铁饼,大概有半厘米后的盘片,大概几公斤重,那个时候这种机械硬盘到现在并没有什么太大的飞跃,只是转速更快了而已。普通的磁盘这么慢,我们都在考虑闪存,闪存有这些部署形态,把PCIe Flash插入进去,还有常规的磁盘阵列,插上SSD硬盘,让它充当一台闪存阵列,但是它的机头,包括优化机制还是基于传统的磁盘而不是闪存,所以性能不是太好。还有一种就是广为流传的全闪存阵列,IBM、EMC都有。还有一种就是数普公司的全闪存阵列产品,也是PCIe,但是是通过PCIe引出来的阵列,这个阵列有独立的4块SSD的盘。每块都是通过PCIe线直连服务器的。闪存存储成本最小化本地直连是最好的方式。因为可以提供跟在板载同样PCIe的。

现在大家最关心的,闪存阵列的寿命到底是多少年,因为它有一个理论可擦写次数的限制。认真计算完了以后会发现数普S100的寿命按照单快盘最小的3.2TB的可用容量、每天的写入数据量按500GB来算,可以用87年,因此,不用担心闪存的寿命,它远远高于磁盘的寿命,这是最低的估算值,有人估算出来都是一百多年的寿命。

很多用户提闪存太贵了买不起了,如果买性能的话,闪存是最便宜的。

SFS1001U几公斤重,相信不会超过10公斤。产品形态是1U的,容量是4TB-64TB。因为每个有4个规格,4、6、8、16TB,具有单一盘体容量16TB的特性,单一性能可以达到50万IOPS,最大的写入量是100PB,随机读写速度是2GB/S,响应时延90微秒。英特尔是十几个微秒或者几个微秒,它唯一的特点就是快,靠推动在一个盘体多个颗粒,做多个颗粒之间的读写实现的。

下面要谈的是相对高大上的CS系列,这款产品是我们跟以色列的一家公司合作的,坦白来讲,我们是OEM以色列公司的产品。谈到Server SAN的时候,有4个技术导致了Server SAN的飞速发展。之所以说飞速发展,是因为Server SAN从我听到到现在现在已经在各个场合,包括在各大展会上广泛出现,一是因为X86服务器飞速发展,二是类似于100GB还有56GB高速网络的发展,还有Flash闪存。另外就是软件定义一切,在一起上可以装所有的软件。之所以这样谈,就可以导致所有的基础架构,以后多可以通过开放标准的、常规的X86服务器搭建出各种各样的功能,所以导致Server SAN的飞速发展。

分布式存储、集群存储、超融合、Server SAN,我们要把它加以区分,个人认为分布式存储可以把多台机器的能力集合在一起,是一个集群的概念。集群存储其实跟分布式存储有异曲同工之处,只不过叫法不一样,超融合在server集合了分布式存储和集群的能力。我们和以色列公司合作的产品只提供存储能力,因为本身都是X86,至于说是合在一起,还是拆开,都是高速网络互联,可能大家采取的技术路线不一样。基础架构越来越智能、简单、可靠、开放、包容,这样让这个生态更加完善更加完美。

Server SAN这个产品可以从两个节点起步,通过一个网络read1完成,然后用到read5,保护级别低一点,但是空间利用率更高了。通过数量增加,扩展整个的存储池的空间。VPSA既可以支持传统物理的Server也可以支持VMware的虚机。它最多可以扩展到一千个节点,这是一个理论值,我们建议不要超过它。再往上扩展,这样形成现在所看到的单一的磁盘阵列,给我们前端的用户去用。既可以支持物理机也可以支持虚拟机。有一些友商可能只支持虚拟机。我们建议至少通过10GB的以太后端互联,在部署的时候,既放SSD高速盘做缓存,同时也要放一些像SAS和NL-SAS组成这样的生态环境,不同的数据找到最适合的介质存放。

横向扩展、性能和容量线性的增长,可以达到数千个存储节点,百P级存储能力。VPSA把底层建立好以后,可以通过汉化的管理界面分给前端的物理机或者虚拟机应用,点下拉菜单按纽选你需要的控制器计算能力,还有性能,包括后端磁盘的容量都可以去选择。基本上把存储的能力抽象化,特别是像虚拟机,虚拟机就是把物理的机器抽象下来,把底层的一个大的存储资源池抽象出若干个10G的磁盘阵列一样。

如果需要大空间就分配成大的VPSA,如果是小空间就分配成小的VPSA,资源回收利用都非常的方便。每个VPSA基本上可以支持所有的协议。ISCSI、NFS、CIFS、REST,基于对象的,也可以支持docker的部署方式。docker比虚拟机包装更细,它直接在这些linux的系统上,可以把一些应用和OS中间件的插件打成一个小的包装,它的利用率和效率更高了。

应用案例比较丰富,我们找以色列的公司就是看中了他的应用环境,底层后端有大量的应用。

数普公司是一个国产的存储品牌,所面向的就是数据生态这么一个环境,最终为用户提供有价值的存储解决方案。存储产品基本上涵盖了传统的阵列,当然我们也是跟一些国际上的一些知名的企业合作做这些产品。在数据、整合、保护、容灾、优化,云方面数普公司都有自己成熟的成形产品,主要是NS系列和FS系列和CS云列数普云阵,可以对接用户云的计算环境。

谢谢大家!

(根据现场速记整理,未经本人审定)
 

未经允许不得转载:存储在线 » 霍坤星:云时代数据生态基础架构解决方案
分享到: 更多 (0)