中国数据存储服务平台

大科研工程海量数据挑战,浪潮分布式存储强势破局!

先来看看那些高端大气上档次、光鲜亮丽的顶级科研项目背后有什么鲜为人知的痛楚。

中国天眼(FAST)是当今世界上口径最大、灵敏度最高的射电望远镜,具有强大的脉冲星搜寻能力。截止2021年3月,FAST共计新发现了201颗脉冲星,对后续探测来自遥远星系的引力波、建立脉冲星时间和空间基准有重要价值。

中国天眼(FAST)

2018年,清华大学研制出新型超宽视场高分辨率实时显微成像仪器(RUSH)实现了重大突破,将活体动物脑神经观测数据通量由1000万像素/秒提升至50亿像素/秒,数据通量是全球第二大高通量显微仪器2p-RAM的500多倍,对提升人类认知水平、脑疾病诊治和人工智能技术发展具有重大战略意义。

清华大学新型超宽视场高分辨率实时显微成像仪拍摄的大脑照片

FAST和RUSH面临一个共同的问题:海量数据的爆炸式增长。以中国天眼为例,每秒采集的数据量高达38GB,每年新增数据量达到数十PB。

所幸,他们都遇到了浪潮存储、化解了PB级存储困扰——继2019年采用了浪潮存储的高性能和高密度两种分布式存储节点之后,2021年中国天眼再次采用浪潮存储分布式存储高密度节点,采用业界首个“多合一”极简架构,在4U空间内承载最高1PB数据,可灵活、在线扩展容量和性能,最高可扩展至5120节点,满足中国天眼未来几年乃至十几年的天文大数据存储和处理需求;而中标清华大学高分辨率计算摄像仪器高通量在线采集存储系统采购项目后,浪潮存储也为这一最新研制成功的光学显微仪器提供40个节点的存储服务,应用于控制28台高灵敏度相机进行高通量数据的并发采集和存储,满足了用户每台相机每秒30张,每张1200万像素,最长拍摄72小时的连续拍摄需求。

这背后,浪潮的分布式存储平台AS13000发挥了极大的作用。

为什么不约而同选择了浪潮存储AS13000?

AS13000是浪潮存储推出的一款面向超大数据中心级打造的分布式存储平台,拥有低中高端多种机型,所有机型均适配英特尔最新的Purley平台,兼容Cascade Lake新一代CPU,可满足人工智能与超算融合的新应用在不同场景的数据需求。目前AS13000已经发展到了第五代产品AS13000 G5。

在硬件层面,AS13000以一个架构支持 5 种不同形态(机架、高密、多节点、异构、机柜)和多种硬件配置(即以“5+X”架构),适配客户多种数据存储需求,从材料到整机全栈硬件能力,让存储更加稳定、安全、可靠。

在软件层面,AS13000一套架构支持文件、块、对象、大数据、数据库5 种协议,同时联合合作伙伴打造多种融合解决方案,提供契合客户业务需求的存储服务。AS13000G5对性能指标进行了全面优化,实现了小文件性能、空间利用率、单设备带宽、智能运维等指标的翻倍升级,最大化挖掘、共享和管理数据,实现数据的全生命化管理和价值最大化。

可以说,AS13000是软件结合、软件定义存储的佼佼者,也是浪潮存储极致特征的代表作。

上述说法都是来自浪潮存储官方。这些优势如何验证?如何让市场和用户信服?

以下这组数据具备足够的说服力:

美国时间6月25日,存储性能委员会(Storage Performance Council,简称SPC)公布了最新的SPC-1基准评测报告,浪潮分布式存储AS13000G5获得6,300,529 IOPS(每秒读写操作次数)、0.781ms时延的评测值,刷新了分布式存储性能全球最高成绩。至此,浪潮存储五年五次霸榜,成为全球唯一在分布式存储和集中式全闪两大赛道领跑的存储厂商。

为什么一致青睐SPC的SPC-1?

SPC是1999年成立的存储专业评测机构,是业界最活跃、最有影响力的国际存储性能评测,堪称存储性能界的“奥林匹克”。

20多年来,SPC定期发布性能基准测试与厂商报告,吸引Dell EMC、Fujitsu、HPE、浪潮、HDS、IBM、NetApp等全球主流存储厂商积极参与。同时SPC定期更新存储规范和测试工具,分区并发IO流全程数据一致性,5阶段数据处理全场景模拟。SPC还建立了严格的审核机制,不仅会进行多轮测试,而且测试过程全球公开,让存储界的技术开发者、用户监督,并运用先进技术对现场实勘结果与测试日志进行自动分析,是公认的权威、专业的测试组织。

SPC-1从2001年初发布了第一版负载的模拟测试工具等,到2014年缓慢升级到3.0版本。之后增加了一致性校验、单点故障、验证流程等可靠性测试,2018年刷新到3.6版本,最新的是2020年11月份出版的3.1版,丰富了数据服务测试指标,包括重删、压缩、快照、节能等。

SPC-1基准评测涵盖矩阵(metrics)、重复性(repeat)、耐久性(persistence)三大标准评测流程,能够对存储系统处理复杂请求和大规模数据的能力进行精准评估,部分I/O规格指标包括IOPS、满负载响应时间、多负载均方差响应时间、每GB美元、每KIOPS美元、价格以及不同负载下小于5%的IOPS浮动范围、5%的响应时间、两个9到五个9的尾延迟等等。

相对而言,金融、通信、AI领域对IT基础设施的需求规模和应用较大较严格,浪潮存储对比发现,无论是基准模型、弹性能力还是数据服务叠加方面,SPEC-1所提供的指标都满足对这些行业顶级客户的标准,尤其是基准模型方面的表现更加系统、完整,因此,满足SPEC-1技术和测试规范的产品更受青睐。

为了做好第五次测试,浪潮存储做了充分的准备,前后花费了两年半的时间,提供了30个设备节点再加一台机柜。浪潮存储首席架构师孙斌在梳理SPC-1测试20多年的演进历程和回顾五次参与测试过程时说。

“打榜只是为了给市场和用户提供一个量化的指标。”针对全球收入排名前列的存储厂商的产品性能都在不断提升、但不是所有厂商都选择在SPC-1上进行测试这一现象,孙斌回应说,只要公司常设架构师团队,持续不断加强研发,提供满足客户不断攀升的应用需求,就足够了。不过,如果浪潮存储持续第六次打榜成功,想必不是一件令人意外的事情。

浪潮存储产品家族

什么技术能让浪潮存储一次接一次打榜?

此次打榜SPC-1,AS13000不同于全闪盘阵的三项技术创新脱颖而出:

一是在二次写数据和写产生原数据两个维度实现了本地化,极大地降低了网络以及节点计算方面的资源占用;

二是面向多个CPU核以及NVMeSSD这两个特征增强并发,对读写放大进行了优化控制,并针对集群中的节点及SSD之间做到低损、采用metric这样自研的多流技术从全局进行数据分流,让SSD效能具备更好的表现;

三是与传统挂榜友商采用光纤通道的方式不同,AS13000采用的突破了网口跟不同CPU Core的绑定、从中断到允许,对IP包拆解、识别和组包等软硬件协同技术后的百G以太网,构筑起一个高性能表现环境。

实际上,登顶SPC-1,与浪潮存储的智能加速引擎iTurbo技术也密不可分。iTurbo是浪潮存储2019年面向新一代G5存储平台研发的一项硬核技术,是I/O软件栈的一套完整的智能加速算法,目前已经升级到了2.0版。

iTurbo智能引擎为浪潮存储系统提供前端应用自适应和调配不同数据处理策略,实现了智能的IO感知、路径选择、数据组织和资源调度,为浪潮存储在性能上赢得业界的认可带来创新的存储加速方案,在同等控制器配置、同等IT建设成本下支撑更多的数据并发访问。

以智能IO感知技术为例,iTurbo通过自适应缓存预读算法对历史数据I/O模式进行分析、判断识别,对其提前读取到缓存,从而达到缓存最高命中率:当缓存写满时,通过独特的替换算法淘汰使用率最低的数据,使缓存发挥出最大的价值,与此同时,通过特征数据识别和逐字节的比较,在确保数据安全的前提下减少数据落盘,提高存储性能及空间使用率。

浪潮存储产品线总经理李辉道出了关键:浪潮存储的技术优势,在于长期的投入。据悉,从2015年到现在,累计研发投入接近30亿元,研发人数的规模也在逐年增长。

登榜之后,浪潮存储还要面对哪些挑战?

AS13000的性能已经雄踞市场之首,但是,作为分布式存储解决方案的代表作,浪潮还在不断努力,以应对市场和客户的需求。

一方面,SPC-1指标还在不断完善和升级,如最新的测试版本增加了能耗方面的测评指标。

对此,浪潮存储除了在产品研发层面积极应对,还致力于参加相关政府和机构组织的“绿色存储企业领跑者标准”的制订工作,通过量化的指标规范存储产品的能耗确保产品永远立于领导者地位。

在今年9月将要颁布、由国内主流厂商参与的一项领跑者标准的验测标准中,浪潮存储是重要的贡献者之一。

另一方面,技术在不断升级,虽然浪潮存储在产品和技术层面持续发力,包括近期将加强对极致安全方面以及在平台化和极致云化方面展开更多工作,但要在基础研究层面继续做到七大极致,浪潮存储也在密切关注中。李辉告诉记者,存储技术的突破性领域集中在介质、期间和协议层面。虽然当前技术研究不一定会取得重大的突破、也未必对未来两三年带来重大的影响,但确实到了考虑问题的时候。例如,虽然硅介质在存储领域还将继续主导市场很长一段时间,社会各界已经开始关注光全息化学材料和激光结合、乃至在玻璃上存储展开深入探索,浪潮存储也拉开了与清华大学在光介质层面技术交流的步伐。

那么,如何有效拓展市场?在企业级存储打拼了20年的孙斌表示,浪潮存储将从3个维度发力:一是让更多的企业客户加强基于公有云的应用,二是提升存储解决方案的智能化能力,让客户实时掌握系统运行的状态,并将潜在的事故隐患提前消灭在萌芽状态,三是防止单点失败,确保核心业务健康运行。

未经允许不得转载:存储在线 » 大科研工程海量数据挑战,浪潮分布式存储强势破局!
分享到: 更多 (0)