中国数据存储服务平台

千亿对象是存储一统的关键吗?

话从7月20日XSKY 星辰天合“千亿对象 一’桶’江湖”发布会说起。

这里说的千亿对象,指的是最新发布的XEOS V6对象存储的能力,1桶支持1000亿+对象。目前多数产品只有1桶10亿+左右。

XSKY星辰天合首席技术官王豪迈

1桶1000亿+的含义

先要说明一下桶是什么?我们可以简单把对象存储理解为C盘,桶就相当于目录,对象就相当于目录下的文件。

与我们所熟悉的文件夹管理(NAS)不同,对象存储没有树状架构的多级目录,采用的是浅目录的结构,所有文件都存在一个目录下,或者桶中。C盘可以多个桶,但是桶中不可以再有桶。

现在问题来了:我们1桶存储1000亿+对象?还是分为100个桶,1个桶存10亿+数据,有什么分别吗?

以公安卡口监控探头视频数据为例,是把所有的数据不分时间、不分探头,全部数据存在一个桶里,还是按照时间或者探头编号进行划分,分为多个桶进行存储呢?

对象存储的价值

不知道大家想过没有:从NAS到对象最大区别是什么?其实关键不在如何存储,关键在于数据检索和使用。

      在NAS中,我们可以按图索骥,按照目录结构查找我们要的文件或者图片、音视频;但是在对象存储中,文件一股脑存在根目录下,从1000亿+对象中,我们该怎么找到想要的数据呢?其实也很简单,就是依靠管理工具提供的检索能力。在对象存储应用中,需要对每个存储的对象添加各种索引信息((也称为标签)),被称为元数据。当我们查找数据的时候,通过元数据检索就可以找到我们需要的数据。

如此一来,我们其实可以把NAS中的文件目录结构转化为索引加以记录,完成从NAS到对象存储的转变。

对象存储之所以备受追捧,在7月20日发布会上,XSKY 星辰天合更是将其称为主存储,我认为非常方便的数据检索能力是主要的原因。举个例子“千人千面”的例子,“千人千面”其实可以理解为各种标签的不同组合,用于支持不同目的的业务应用具体到标签添加,内容就是由业务需求来确定的。

畅想一下:如果对每个公安卡口视频进行人脸识别,对涉及其中人、车辆等进行标注,在打拐、追逃等很多场景,这些数据会发挥巨大的作用。

为什么不是100桶1000亿+

如果说对象存储的实际价值在于数据应用,那么对于底层的存储方式:是1桶1000亿+,还是100桶1000亿+,这有分别吗?

1桶1000亿+来自行业用户实际需求,理由无外乎减少应用软件修改。

但是对厂商而言,1桶1000亿+的技术难点在于元数据管理,容易导致性能瓶颈,影响业务应用的稳定运行。简单说,1桶1000亿+还是需要一定的技术保障的。

实际上,数据库应用也曾经面临类似问题,当数据达到一定规模之后,检索时间就会变得漫长,不能够满足业务需求。对此,数据采用了分库分表等应对办法。与100桶1000亿+有些类似。

XSKY星辰天合首席技术官王豪迈指出:作为对象存储产品供应商,应该有能力帮助用户简化应用,有存储技术手段解决问题,避免对应用的影响和干扰,也只有这样,才能够加速对象存储技术应用和普及。

除了1桶1000亿+之外,XEOS V6还设计了很多的增值应用,如QoS、桶快照、WORM(不可变存储)、桶复制等,为数据生命周期管理、数据保护提供支撑解决方案。

小结

这都是问题的关键。黑猫、白猫,抓住耗子就是好猫,对象存储也是如此,1桶1000亿+也好,100桶1000亿+也罢,凡是有助于数据应用的技术就是好技术,也是影响对象存储技术应用的关键。对吗?

未经允许不得转载:存储在线 » 千亿对象是存储一统的关键吗?
分享到: 更多 (0)