IBM研发总容量120PB水冷阵列

lxy编译 发表于:11年08月29日 11:26 [转载] 比特网

  • 分享:
[导读]IBM位于加利福尼亚州Almaden的研究实验室正在进行一个新的项目:设计一个120PB容量的大型存储设备,我们今天的任何一个数据资料库与之相比都要相形见绌。这一新的存储设备将由20万块硬盘驱动器组成,预计可容纳约1万亿的文件或240亿首单曲容量5MB的MP3文件。

IBM位于加利福尼亚州Almaden的研究实验室正在进行一个新的项目:设计一个120PB容量的大型存储设备,我们今天的任何一个数据资料库与之相比都要相形见绌。这一新的存储设备将由20万块硬盘驱动器组成,预计可容纳约1万亿的文件或240亿首单曲容量5MB的MP3文件。要知道,截止到2010年2月24日,苹果只是售出了100亿首歌曲,因此,你不仅可以将iTunes音乐商店出售的每首歌曲都存储两个拷贝,而且还会有剩余空间来干点别的!

更具体地说,Almaden实验室的工程师设计了新的硬件和软件技术,来将20万块硬盘放进水平推拉的抽屉,然后放置到机架进行安装。为了能够给硬盘降温,IBM将抽屉设计的比我们平常见到的更宽以尽可能多的放进硬盘,并将配满硬盘的抽屉塞进一个液态循环水冷的垂直机架中。在软件方面,IBM精心设计了他们的磁盘奇偶校验和镜像算法,比如说,当某块硬盘发生故障时,整台计算机仍然可以以接近全速的效果进行工作。如果单块硬盘发生故障,系统会从其它硬盘读取备份数据并写入到替换后的硬盘中,这就使得这台超级计算机依然能够处理数据。算法会控制数据重建的速度,并能够处理多块硬盘同时损坏的情况。

除了物理层面的数据分布,IBM还使用了一个新的文件系统来保护阵列中的所有文件。通过我们已经熟知的通用并行文件系统(GPFS),这一系统会将文件条带化到多个磁盘上,以达到并发读取,增大I/O的目的。此外,文件系统使用了一个新的索引方法,使其能够保持跟踪数十亿份文件,而无需扫描每个内容。比特网此前报道过,GPFS曾经创造过43分钟扫描百亿文件的纪录。(《IBM演示新固态存储系统:43分钟扫描百亿文件》)

IBM存储研究总监Bruce Hillsberg表示,他们的算法使存储系统中的数据能够做到“万年不朽”,同时还不会对性能造成影像。Hillsberg进一步认为,尽管这个120 PB的存储阵列上如今看起来有些“疯狂”,不过对于云计算来说,存储的作用正在愈发显得重要。他透露说,只是跟踪文件的名称,类型和属性就使用了约2 TB的存储。

这一阵列目前正在搭建一个即将对外发布的客户端,其有可能用于高性能计算(HPC)项目,来存储大量的建模和仿真数据。包括全球气候模型,地震图形,大型强子对撞机(LHC)以及分子数据和模拟等项目将会从逐步增长的存储空间中受益。

尽管受到设备发热、数据错误、排列密度以及存储介质等方面的限制,不过对于数据存储的研究仍然正在以惊人的速度向前发展。尽管这台由20万块硬盘组成的120PB容量的阵列除了国家财政或财富500强企业以外没有人能买得起,不过这一技术本身绝对是有趣的,同时其在技术方面的成就也会眷顾到消费级产品中。

[责任编辑:朱宇]
相信无人不知惠普存储融合之道,作为辐射企业级、消费电子、软件等从基础架构到终端的厂商,惠普融合之道确实搭建了一个非常利于其存储发展的大舞台。为此,在丰富惠普存储王国的过程中,3PAR的进入,不仅带给惠普存储新的力量,同时也带来了新的趋势,完善了惠普在中高端存储领域的阵营,不过,从HP搭台3PAR唱戏到HP和3PAR同台共舞,惠普一直坚持融合存储之道,将瞬捷战略也结合了起来。由此,我们便看到了HP 3PAR给存储业带来的新的惊喜,从而形成了MSA、Lefthand、EVA、XP、3PAR惠普的五虎上将。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.