中国数据存储服务平台

103ZB数据存不下,存储技术需要另辟蹊径

首先让我们看一组数据:2018年全球产生的数据量是32ZB,预计2023年会达到103ZB。其中,有多少数据被保留下来了呢?

这里也有一组数据:2018年被保存下来的数据是5ZB,占比不足16%;预计2023年12ZB,占比12%,这就意味着会有越来越多的数据没有办法保留下来。有人将数据比喻为石油、黄金,大量的数据得不到保存,令人惋惜。

症结何在?原因很简单,我们存储能力达不到数据增长的需求。

据预测,SSD、大容量企业级HDD仍然会保持快速成长,但即便如此,缺口依然有扩大的趋势?

怎么办?

解铃还须系铃人。存储的问题,还需要借助科技的能力来解决。

为了追逐更大容量的存储,以及GB/$成本,无论是SSD盘,还是传统HDD磁盘都在努力,其中SMR HDD磁盘,QLC颗粒SSD盘是成本最低的产品,是最新科技的体现。

但是SMR、QLC也都面临写入限制的问题,从而制约了产品技术的普及。

以SMR HDD为例,在以前的文章也介绍过,数据写入时,需要将叠瓦部分数据迁移走,这就需要操作系统、以及应用软件的支持。目前,最新操作系统已经能够支持SMR,但是大量低版本操作系统,以及应用软件的限制,仍然制约SMR的使用。

QLC的问题在于PE(擦写次数)过低,从SLC、eMLC、MLC、TLC到QLC,PE从5万~10万次、1万次,3000~5000次,1000次到150次一路下滑。数据写寿命的下滑,使得QLC只适用于读类型应用,不适合频繁的擦写。

为此,西部数据也做了很多努力,将QLC的PE提高到1000次,已经能够与TLC相当。

目前,硬件制造的现状就是如此,如何扬长避短,最大化科技的价值?

这就需要借助软件的力量!

为此,西部数据提出:为了迎接ZB时代,需要重新结构存储,以次为技术,西部数据发布了分区存储技术(ZonedStorage)。

简单说,这是一套存储资源命名空间分区的技术。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计,并将其进行了开源。

目前,西部数据的ZonedStorage已经得到了SUSE、ATTO、Microchip、Broadcom等伙伴的支持,西部数据更是将2019年称为分区存储技术元年。

写入限制的瓶颈被突破,会给QLC、SMR HDD市场带来突破吗?

对于用户来说,特别JBAT等互联网厂商,会支持并使用开源的分区存储技术吗?这需要拭目以待。

但是不管怎样,西部数据信心满满。所谓ZNS NVMe SSD平台,ZNS并不是产品的品牌名称,ZNS代表技术类型,代表这能够支持开源分区存储技术的产品,能够最大化发挥QLC SSD的价值。至于SMR HDD,应该是ZBC。

ZNS也好,ZBC也罢,需要注意的是分区存储技术是所有QLC SSD和SMR HDD厂商和开源用户的!

这个技术方向会走得通吗?还是套用一句俗话:拭目以待!

高层证言:

在ODCC 2019的主题演讲上,西部数据公司产品市场部副总裁朱海翔说到:“ZB级时代的特征之一即是“数据爆炸”。

朱海翔表示:“ZB级时代的特征之一即是“数据爆炸”。据估计,2023年生成的数据总量将达到103 ZB。如此快速的增长将会给大型云数据中心带来诸多挑战,但同时也为存储产业带来新机遇。如何处理爆炸式增长的数据,已俨然成为业界备受瞩目的问题。以经济且高效的方式革新数据中心存储架构已是大势所趋。分区存储架构通过赋能应用层,实现主机和底层存储介质之间数据存放安置流程的智能化协同。不仅能够充享用SMR技术带来的硬盘存储容量最大化的红利,而且可以在融入ZNS标准的NVMe SSD产品部署过程中拥有更好的耐久性、可预知的低延迟和QoS(服务质量)性能。

未经允许不得转载:存储在线 » 103ZB数据存不下,存储技术需要另辟蹊径
分享到: 更多 (0)