中国数据存储服务平台

为什么Hitachi Vantara的高性能文件存储HCSF火了?

在日前的采访中,Hitachi Vantara中国区技术销售总监谢勇、Hitachi Vantara中国区资深解决方案顾问蔡慧阳透露:Hitachi Vantara高性能文件存储HCSF深受市场欢迎,取得了不错的销售业绩。一直到这个时候,我还不知道HCSF (Hitachi Content Software for File) 是怎样的一款产品,也就根本不知道为什么HCSF会受欢迎。

从“日立文件内容软件”的字面意思来看,HCSF很像是一款分布式NAS产品,市场上这样的产品很多,为什么HCSF会受欢迎,就因为Hitachi Vantara的品牌光环吗?

Hitachi Vantara的前身是HDS,与EMC、NetApp并称为专业存储厂商的前三名,是外部存储市场的领导者,是集中式存储的代表。在分布式存储方面,此前只有HCP (Hitachi Content Platform),一款分布式对象存储产品。

从技术上说,HCSF是一款分布式文件存储,那么和分布式NAS存储有什么分别呢?

显然,HCSF不是分布式NAS存储,产品定位更多的不是面向通用的文件存储市场,HCSF面向的是HPC (高性能计算)、HPDA(高性能数据分析)、AI(人工智能)这样的典型的新型应用场景,其市场特点是对高IOPS、高带宽、以及低延迟有着苛刻的需求,是普通分布式NAS没有办法满足的市场领域。

对HPC高性能计算稍有了解的朋友都知道这是一个特别的专门领域。一开始的时候,计算和存储紧密结合,并没有一个“高性能计算存储”的市场存在,但是随着应用的发展,计算、存储分离的需求日益突出。原因也很简单,一方面数据量急剧增加,使用多套存储的方式管理起来非常麻烦;其次,后端存储的性能已经跟不上前端算力的步伐,前端的CPU+GPU异构计算、混合负载、混合文件大小对后端存储提出了更高性能需求。

为了大幅提升文件存储的性能,除了使用常见的POSIX协议,HCSF还支持英伟达的GPU Direct Storage (GDS)协议,这样性能还可以进一步得以提升。

英伟达公司 (NVIDIA) 为了避免出现性能瓶颈,针对后端存储开发了一种新的访问协议——NVIDIA GPU Direct Storage (GDS),通过在NVMe存储系统和GPU内存之间启用DMA (直接内存存取),提升存储的效率。

GDS在存储和GPU之间提升2~8倍的数据传输带宽;延迟大为降低,例如在某些场景下端到端传输的延迟能够实现3.8x的降低;当GPU并发度增加时,GDS仍然保持稳定的低延迟输出。GPU不仅作为实现最高带宽的计算引擎,同时也作为实现最高IOPS的计算引擎。在某些场景的实测数据表明,如果单纯使用CPU,吞吐率仅能达到50 GB/s;而使用GPU之后,吞吐率可达到215 GB/s。因此,能支持GDS的存储系统更能充分匹配前端的异构计算能力。

类似GDS这样新技术的出现,进一步推动了高性能计算存储的需求,HCSF瞄准的就是这一块市场领域。现有开源高性能文件存储方面主要是基于Lustre或BeeGFS,此外部分传统分布式NAS通过配置闪存盘也能覆盖一些较低的性能需求。相比之下,HCSF的设计初衷就是要解决传统的分布式NAS和其他分布式文件系统遇到的各种性能瓶颈和扩展问题。

HCSF非常适用于自动驾驶训练、基因测序、AI、ML等应用对极致性能和超大容量的需求。在人工智能驱动的高性能数据分析领域,在数据处理的不同阶段,对存储有不同的性能需求。例如,某些阶段要求超高带宽,某些阶段要求超高IOPS+超低延时,还有一些阶段同时要求超高带宽+超高IOPS。同时,在文件的大小方面,以往以处理大文件为主,小文件性能往往不佳。这就要求新一代的文件存储产品能够通过某些技术优化,例如小I/O聚合等技术,兼顾大I/O和小I/O处理的性能需求。HCSF作为新一代的高性能文件存储产品,可以直接将数据在客户端进行切片,小文件打包处理,同时写入到所有节点的硬盘上,通过并行方式提高了读写效率。完美地解决了这些问题。另外,如何存储超大规模的数据也是一个现实的问题。以自动驾驶训练场景为例,当下主流的L2-L3级别自动驾驶训练阶段,每辆车每天产生的数据量已经达到几TB到10TB不等;随着汽车行驶里程的增加,以及将来逐步进入高级别自动驾驶阶段(L4-L5),产生的数据总量能达到几百PB甚至EB级的规模,所以AI训练需要处理的数据规模相当大,也就是说后端文件存储的容量扩展性要足够大。HCSF近乎无限的扩展能力可以轻松地满足超大数据量的存储需求。

不仅如此,高性能数据分析除了需要兼顾高带宽、高IOPS和低时延的性能要求,还需要确保海量数据之间跨系统的协同交互与共享。如此一来,多协议互通就成为必然的选择。从目前了解到的情况来看,HCSF支持的协议种类可以说在所有高性能文件存储中是最全的。强大的多协议支持能力能更方便的接入不同种类的应用服务器,这样才能有效避免数据在不同的服务器与存储之间来回移动,在减少采购多套存储的同时,也缩短了数据处理时间。

正是因为准确把握了技术和市场应用的需求,在Hitachi Vantara品牌的加持下,HCSF的市场成功,也是水到渠成的事情!对吗?

未经允许不得转载:存储在线 » 为什么Hitachi Vantara的高性能文件存储HCSF火了?
分享到: 更多 (0)