中国数据存储服务平台

谢长生:云计算中心的冷数据存储

12月10日下午,2015中国存储峰会在北京举行。在“云计算与业务连续性分论坛”,华中科技大学信息存储系统教育部重点实验室主任、武汉光电国家实验室副主任谢长生发表了“云时代数据生态基础架构解决方案”的主题演讲。

以下是演讲实录。

 
华中科技大学信息存储系统教育部重点实验室主任、武汉光电国家实验室副主任谢长生。

谢长生:各位下午好,我今天讲的题目,一般的关注不够。云数据中心的冷数据存储。我们是一个研究单位,华中科技大学信息存储系统教育部重点实验室,现在我们很关注这个问题,我想介绍一下我们现在的进展。

数据量是爆炸的,facebook做了一个测试,一天之内的访问品路是非常高的,过了一天就冷下来了,最后越来越冷,访问的频率就越来越低,热数据变成冷数据,冷数据又不能丢,有很多大数据分析,虽然它是冷数据,但是你用的时候还要把它调出来用。还有的数据,需要保存很长时间。凡是和人的寿命有关的,你的健康医疗数据、银行、社保数据,至少保持和你寿命一样长,一般保持七八十年甚至一百年。有的科学实验数据,比如说人的基因苦数据,要进行基因分析的时候,要研究遗传疾病的时候,要研究好几代人基因的变化,才能把数据拿出来,所以那个数据可能要保存几百年。

中央电视台每天的新闻联播要永远保存;开国大典的资料,经常需要用到,也要长期保存。现在我们对这个问题实际上重视不够,花了很大的代价,实际上用很贵的产品存冷数据。

facebook做了一个统计,他们自身的数据中心有89%的比例都是冷数据。一般来说,占总量的80%以上都是冷数据。现在的情况,热数据一般放在SSD,温数据放在7200转的硬盘。很多数据中心把冷数据放在低速硬盘上,浪费了大量的能源,而且代价非常高。还有放在磁带库上。

今天主要介绍一下最近两年兴起的用光存储做冷数据的存储。

冷数据用什么介质最好?国际上对几种做对比,硬盘、闪存、磁带和光盘。存冷数据的大部分数据中心,都是用低速硬盘存冷数据,也有不同的用法。我国很多数据中心就是放在活动的硬盘中,低速硬盘中,一天到晚在那里转,其实很少读它,这就是很大的浪费,而且硬盘的平均寿命是5年,过了5年以后损坏率急速上升。磁盘阵列,一块硬盘坏了,又坏一块硬盘的概率很高,数据容易丢。硬盘就是5年倒一次,存50年,100年的数据,要用硬盘倒好几次。

硬盘另外一种用法,像facebook用mei的技术,用的时候就打开,不用的时候就关了。但是,长期放在那不用,5年后是不是能起来都是问题。国家档案局做了实验,有的硬盘放了好多年,拿出来以后个别硬盘就卡在那呢,起不来,有的时候电路都烧了。长期把它关电的虽然从节电角度来讲是好的,但是它又有很多可能起不来,或者来回起损坏硬盘的情况。

闪存作为长期保存介质其实不是很好的方案,第一它贵,放那么多冷数据成本太高。第二闪存是用电荷保存的,现在高密度的闪存单元,一个单元就十几个电子,放10年可能就差不多漏掉了,信息就没了。作为冷数据长期保存很贵,寿命也不长,也不是很好的选择。

磁带容量大,价格低,能耗低,应该还是比较好的,但是磁带寿命也不是很长,平均寿命10年。干燥的地方和潮湿的地方用不一样,在潮湿的地方可能就发霉了。

光盘目前有很多好处,因为是非接触的,很可靠,能耗也低,价格也很低,唯一的缺点就是容量不太高,蓝光光盘寿命可以是50年以上。

我之所以强调光盘,是因为光盘最近有一个很重大的突破,现在可以买到200G一张蓝光光盘。

主流存储设备就是磁盘阵列、磁带库、光盘库、固态盘。

这样的情况下,经过比较,认为我们要发展大容量的光盘库做冷数据存储,它有很多好处。

光盘成本非常低,塑料上镀一层膜非常低,而且寿命超过50年,可以防水。日本人做一个实验,把光盘放在海水里再捞上来基本上没有变化,放在磁带和硬盘的数据都完蛋了,但是放光盘上的数据洗洗还在,它不怕水,还不怕炸弹,硬盘都是磁原理,用非常高的强脉冲一冲击,就会毁掉,光盘不怕这个,对温度、湿度也没有要求,不会发霉、粘连,不像硬盘5年倒一次数据,不像磁带10年倒一次,光盘50年倒一次就可以了。

facebook研究得出一个结论,光存储是最适合冷数据的介质。目前唯一的缺点就是容量不够大。

由于这个原因,国际上现在有一些重量级公司开发大容量的光盘库,代替磁带库和硬盘做冷数据存储。

松下公司一个6U的可以装1800片光盘的机构。华录跟松下是长期合作的,现在跟松下合作做这个东西。这是facebook主导的,一个标准机架42U的可以放10368片,软件技术都是facebook做的。这样的结构是找苏州的一家公司做的,还有一些核心的光驱,精密部件是松下做的。2014年开始在市场销售和展览。在存冷数据的时候,比现在硬盘要节省一半的能量和降低一半的成本。

光盘,国际上主要以日本公司为主,由美国facebook公司主导。

5年前看到这个趋势了,所以我们和广东的一家公司合作在国内自主开发,做了一款国际上容量最大的,比facebook还大,我们是12240张,比facebook2014年推出来的同样的体积多两千张。市面上100G的蓝光光盘已经大量上市,一个柜子可以装1.2PB,在软件上,逻辑上,虚拟化成一个大的文件卷,吞吐率通过24个光驱并行读写,就是克服光盘慢的问题,就是用并行读写技术,用固态盘和硬盘做catch提高它的响应时间。

这项技术在日内瓦发明博览会得到金奖,凯德国际光存储定级会议邀请我们做报告。

在理论和功能上,我们提出了一个磁光电融合的技术,固态盘也有硬盘,但是很小的一部分量,大部分量是光盘,我们异构融合以后给它虚拟化了。

光盘本来是慢的,但是我们用了并行和catch两种技术结合以后,使它看起来很快,但是价格又很便宜的大容量盘。

热温冷数据是自动分级的,热数据放在固态盘里,温数据放在硬盘里,冷数据放在光盘里。有6个转盘,每个里面是12片,有一个机械手,用到哪里转到哪里,然后机械手拿出来放在12个光驱当中。在保证数据可靠性这方面采取了很多新的措施,盘内部的校验和盘间的校验。成为单体容量最大,并发度最高的光盘库,首个磁光电融合的光盘库,在国际上产生了一些影响。

它的应用是很广阔的,企事业单位,银行都可以用到,最重要的应用就是数据中心。在武汉东部开发区政务数据中心把这个作为方案用作国家能源局100个绿色数据中心的试点。

现在国际上真正在运行的蓝光冷数据是facebook部署在北卡的冷数据中心,这是实验性的,有14架,全是蓝光光盘,有十几P的容量,他们用这个做测试,一旦测试完成了以后,就会在冷数据中心大量部署这个,这样会大量节省能源,而且数据的保存时间非常长,50年以上,成本要低于现在的磁带和硬盘的方案,这个方案是还没有大量采用,国际上也正在试用的情况下。

我们和国际的步伐差不多。现在我们也在十几个单位试用,成熟以后也会大推,我们硬件上比国际上还要高,软件上比他们落后半年。希望通过这个,在我们国家数据中心以后得到应用。

未来光盘库要研究解决数据可用性的技术,这是很重要的问题。还有一个问题,把一个数据保存50年100年,除了物理上保存以外,还有协议上的一致性的问题,这是什么问题呢?埃及的象形文字保存的都很好,所有的信息都保存下来了,两河流域古巴比伦楔形文字也保留下来了,保存的很好,但是谁也不认识它,就是说协议丢失了,这个问题在我们计算机上也一样存在。

中国是唯一的一个,几千年来我们文字没有什么太大的文化,我们现在还认识古代的文字。马王堆出土的老子道德经现在还可以认出来,“道可道也,非恒道也。”为什么和我们现在“道可道非常道”不一样,专家研究,汉代以后有一个皇帝叫刘恒,皇帝的名字不能用,所以后来避免说恒,就说常了。

计算机领域也是这样的,光盘保存了50年100年,格式变了,操作系统不知道到哪里去了,很多运行环境也不在了,国际上有很多人,包括谷歌有很多人研究这个问题,怎么把这些协议,把这些东西定义好,以后我读它,我就知道它是在什么样的环境下,把这些信息保存下来,这样才不至于丢失很关键的信息,就不至于50年以后这些程序都在,但是不知道是什么东西了,这个问题是非常严重的。

最后讲一下蓝光的光盘进展,光存储唯一的缺点就是容量低。日本是光存储历史很久的国家,所以沿着蓝光路线多层走,蓝光路线今年200G,明年是300G,后年是500G,再往后就是800G。但是走到800G的时候,就很难读了,所以他们就很难走下去。所以他们想了一个办法,红光伺候,蓝光读写,但是这个走不远。

介绍一个最新的进展。2014年,诺贝尔化学奖获得者第一次突破了光学的衍射极限,跟波长有关,波长越小,光点越小。光学显微镜是看不到非常小的,纳米级的现象是看不到的,用纳米级的电子显微镜可以看到。最近有一个超分辨技术,用两束光,一束光把它开开,另一束光,把它灭掉,中间剩了一点点,就留下来了。过去是三四百个纳米,现在变成了10个纳米,这样就可以用这个原理做显微镜,可以看到很微观的现象。这个成果就得到了2014年的诺贝尔奖,这是很好的突破,光学的衍射极限被突破了,搞存储的人就想把它用到光存储上。

也就是说,从300纳米缩到10个纳米,密度可以提高2个数量级,最早做这个事情的是一个澳大利亚华人院士,现在实验室里可以读写,现在70纳米的已经完全可以正常读写了。这个成果一上去,光盘的容量,至少可以一个T或做到10个T一片盘是没有问题的,理论上可以做的很高,因为物理上已经这么小了,容量一上来,马上把磁带远远拉在后面,而且加上它非常可靠,非常便宜的特性,所以我们估计,将来作为冷数据存储,加上一万片的光盘技术,纯十几个PB上百个PB在一个柜子里,就非常的廉价,非常节能,这是非常好的技术。

云计算中心的冷存储是一个日益重要的问题,80%都是冷数据,光存储是冷数据存储未来的方向,光存储的重大突破就是刚才说的超分辨,就是光学衍射极限的突破会带来一个新的产业,就是数据中心光存储产业将替代磁带库,超大容量光盘库已经成熟了,进入实用阶段。

我们要抓住这个机遇,就可以站在世界前面去发展自主的存储产业了,谢谢!

 (根据现场速记整理,未经本人审定)
 

未经允许不得转载:存储在线 » 谢长生:云计算中心的冷数据存储
分享到: 更多 (0)