颠覆性存储技术,重组存储架构

木屐 发表于:14年12月05日 21:00 [综述] 存储在线

  • 分享:
[导读]在下午的闪存分论坛上,英特尔公司非易失性存储方案事业部 中国区市场总监 Bill Liu/刘钢和英特尔公司非易失性存储方案事业部SSD资深架构师 Jack Zhang共同发表了题为《颠覆性存储技术,重组存储架构》的主题演讲,主要就非常热门的非易失性存储话题展开了详尽的阐释。

2014年12月2日,由中国软件行业协会、中国计算机学会、武汉国家光电实验室和国防科技大学大力支持,DOIT传媒和存储在线联合主办的中国数据存储年度盛会—— 2014(第十届)中国存储峰会今天在北京盛大开幕。作为中国存储产业的十年盛会,峰会以“掌控数据经济·重塑商业价值”为主题,邀请超过1500位学术界顶级学者、产业精英和企业用户出席,围绕数据经济和商业价值两大话题,从云计算、大数据、软件定义和闪存等四个技术方面举行一系列主题演讲和圆桌会议。

在下午的闪存分论坛上,英特尔公司非易失性存储方案事业部 中国区市场总监 Bill Liu/刘钢和英特尔公司非易失性存储方案事业部SSD资深架构师 Jack Zhang共同发表了题为《颠覆性存储技术,重组存储架构》的主题演讲,主要就非常热门的非易失性存储话题展开了详尽的阐释。以下是文字实录:

 

刘钢:各位下午好,很荣幸有机会参加这次存储峰会,我和我来自美国的同事SSD资深架构师Jack张,将一起为各位报告一下英特尔在最新的非易失性存储方面的一些市场和技术方面的进展,还有一些成功案例和各位一起分享。

这个题目比较拗口,甚至跟家里人都讲不清楚--“非易失性存储解决方案”,我讲完之后我女儿还是听不懂我在干什么,太复杂了。所以这是一个问题,每次问我做什么,我都说一个很长的名字。干脆叫闪存不就完了嘛,但是各位知道(非易失性存储)闪存,我们举个例子,同样倍数提升,如果在交通领域会是什么情况?硬盘就是航海时代的帆船,跨过太平洋需要花大概180天左右,目前基于闪存的固态盘就好比是飞机,快了一千倍,飞机也快了一千倍,现在用闪存就好比坐飞机跨越太平洋一样。那下一代基于非易失性存储的固态盘呢,在交通领域我也没想出一个方法什么东西会比飞机快,他们有人说导弹之类的,我也不知道,下一代的非易失性存储比今天的闪存还要快几百倍。明年就会出现新的固态盘,不是闪存的,会比今天的闪存盘快上几百倍,延迟也是缩短几百倍,一定会有新的应用。

大家可以想象如果同样的进步发生在交通里,飞机对帆船的影响很大,同样的技术革新发生在交通领域,交通领域用户的旅游习惯会发生很大变化,这样的变革放在存储领域,固态盘已经给大家带来很多的变化了,那非易失性存储出来会有更大变化。存储架构不只是存储架构被存储,存储这个行业里面的主要的供货商和解决方案提供商可能都要思考新的技术来应对对整个行业的冲击,这里可以看到有很多东西,也有行业的一些主要的解决方案提供商一直在开会,可以看到最新的解决方案。如果一个公司还是在用老的技术,不能适应新的技术,这种新的存储的技术对市场的影响其实很多,如图所示图,不只是对硬盘的影响,甚至内存都受影响,所以往下几年,直到2018年可以看到有好几个时段增长已经变成负数了。而1400亿美元的市场可以看到固态盘的未来,基于非易失性的固态盘会介入市场,这1400亿美元的市场,会引发整个市场发生非常大的变化。英特尔的市场份额已经是23%了,在SARA跟一个公司是我们两家合作的,两家加在一起37%了,我们在企业的固态盘市场占据23%,是第一的市场份额。

这么多的固态盘应用在什么领域呢?这两个图分别可以看出来,这个图的红线有点太低了,但是示意图是正确的,无论在全球的应用领域还是国内的固态盘的应用领域都可以看到互联网服务商是利用固态盘最多的,这个图如果每次放在不同电脑都会显示不同的曲线,这个图的话固态盘我们叫(英文),在最顶尖的几家互联网服务商里,大家知道我们讲的是哪几家,甚至固态盘渗透率超过100%,那时候可能只是一家,今天我看到不只是一家,好几家了,为什么好几家呢?因为一个服务器不止一个盘,几乎所有的服务器都用了固态盘,如果服务器不用固态盘没有最大化服务器的价值,处理器速度很快的,数据不靠近处理器,这个服务器的效率没有最大化发展出来。互联网公司已经意识到这个,开始了大规模的部署。另外一方面固态盘的部署稍微晚一些,但这其实是差异化的机会,固态盘的优势已经被证明了,固态盘的服务器和在存储的优势已经证明了,只是还没有大规模的部署,一个是整体解决方案怎么优化,越来越多的服务商为传统行业来提供基于固态盘的优化解决方案,过去一年我们看到很多成功例子。

这个图有更多的案例介绍,实际上我们展开里面有二维码扫描,在过去一年里有几十个成功案例。就是非常具体的是说固态盘,企业级固态盘在传统行业里面的成功应用,那里面包含什么部分呢?包含在教育里的,在医疗里面的医疗大数据分析,还有政府里面的云存储,在智慧城市里的安防和监控,在运营商里的用户咨询和查询,大数据查询。在新媒体领域里的视频流和服务器。其实不只是这些,我们有几十个成功案例,大家扫描一下可以看到,都可以下载。这里我其实特别想强调的有两个案例,一个是医疗领域里面的,他们在每年开学要出一个免疫的报告给学生,以前出这么一个报告,每个地方出一个报告大概要花一周时间,查询一次也需要花上几个小时,数据量太大了。现在他们使用固态盘之后,在这种新的存储架构下面他们甚至于从一个星期变成了一个小时,查询时间从几个小时,或者几十分钟变成了十几秒钟。所以这样的性能的改进是没有固态盘的时候很难实现的,因为瓶颈根本不在处理器,而是在数据靠近服务器的时候,这是医疗大数据的改变,在案例分析有具体介绍。

另外一个是视频流的服务器,华数大家知道,做网上的视频流的应用越来越多。不只是在新媒体领域,现在发现好几个客户在改进他们的解决方案其实不在新媒体里面,而是在教育里面,包括国家教育也有,教育里也有视频流服务器,视频流服务器需要快速的处理大量的高清的视频数据,这个视频数据的吞吐对视频流服务器是最大的挑战。以前通常一台服务器可以处理一两千个,插入固态盘之后呢,这是浙江华数对媒体的报道,一个服务器支持视频流是原来的5倍,原来是一个服务器支持3到5个GB,这里可以支持高大20个GBbs,充分发挥了服务器的价值。对于用户反而降低成本,因为有的用户从磁盘换成固态盘成本会提高,但是在杭州华数案例上成本反而降低了,成本不是盘对盘,而是每支持一个并发视频流是多少,从华数来看成本就可以降低一半,运营成本还可以降低,一个是空间节省,还有功耗节省,还有固态盘的低故障率等等又降低运营成本,所以这个例子跟大家分享,固态盘不仅可以提高性能,而且可以在方案里面节省部署成本和运营成本。

另外一个例子简单提一下,是一个公司的大量海量数据的查询,原来做到这个查询是内部数据库,很大的内存来做,现在内存不变用了很快速的固态盘在里面,最后发现达到一样的性能,但是成本降低了很多,这个时候是有大量的缓存去来改善性能,达到同样的性能,固态盘是便宜很多的。同样的性能采用固态盘的方式,比原来的方案总体的成本降低的非常多,大概节省了75%左右,只在存储这部分,我在网上也分享了,大家可以去下载,就在我的微信里面。这是我们提到的在传统行业里面成功的利用固态盘改变解决方案,不仅提高性能,而且降低成本。很多人误解一提闪存就会很贵,但是当你看整体的时候你会发现马上降低成本。

这种事情其实不只在国内发生,其实国外无论在服务器领域还是存储领域都通过大规模固态盘来改进各方面的性能和降低成本,所以我请我的同事Jack张跟各位分享一些在存储领域和数据库领域的其他案例,有请。


Jack张:谢谢。刘钢讲了很多中国的案例,做了很多事情,可以传到美国去用。我在16年前就开始做亚洲市场,包括互联网公司这些。从那一代的SDS到现在差不多6年了,发现可以看到实际上互联网公司都已经大规模应用了。我们除了做SSD以外,我们就觉得应该去(英文),就是做IT的工程师对系统的规划,他们就没有太多时间去看SSD,我们SSD本身有自己的特性。我们就有这样的一个题目,就是解决方案的小组,要有整体系的概念,还要有(英文)的专家,去发现一些解决方案,所以把这个SSD更加普及下去。

其实每一页都有很多东西,可能每一页不用看我都可以讲几个小时,但是时间有限。基本上SSD你要看的话,它在应用方面其实就是三种,一种就是说做(英文),它可以由纯SSD解决方案,用各种方法提供几块SSD,比如一块乘800的,两块乘800G的,8块乘800G。比如说(英文)好多把一些(英文)直接放在(英文)上,纯(英文)也有很多。

我另外一个就是做(英文),就是把(英文)和(英文)用一块SSD,每一个放一个,也是一个应用。我们说SDS是一个很大的贡献,如果你分布式,然后把SSD每个服务器上都SSD,然后管理,SSD会在前端一个很大的优势。

讲几个实际的案例。首先是VM,SSD可以做(英文),其中我们做的(英文),就是和(英文)合作。我们和(英文),我们选择了3700的(英文),S3700是我们的(英文)的SSD,发现几种,一种是前面做(英文),四块SSD,后面跟16块很便宜的HHD的话,前面的放SSD,后面的存储也放SSD,会有一个很高的数据。基本上他们的一些看法就是说你要去看它的(英文),(英文)的我们认为一般的像这种互联网公司,还有一些(英文)。刚才讲的实际上我刚才讲过另外一个应用,就是你可以把它作为(英文),放一块SSD,我们一个案例就是一个小的集群,6个,每一个上面放一块SSD,可以看到我这个比较。(英文)你的(英文)的速度时间,(英文)是比原来减少了一半,就是提高两倍。PCLe是提高3倍。这是很简单的,有些应用有些东西你可能要做一些规划,像(英文),你可能要做一些(英文)的指标。但是像这种最一开始你是要把(英文)换成SSD,马上效果就出来了。

然后这是一个(英文)的优化,就是和(英文)一起做的一个,用一个(英文),这样做了一个实例的应用。还有一种是用24块,4块纯SSD和硬盘的比较,(英文)做了一个(英文),除了(英文)以外的用(英文)作为另外一个(英文)。如果4块SATA和24块SSD比是13倍,同样的系统你换硬盘,或者SSD,实际上(英文)会讲TPS(英文),实际上你要是换成(英文)的话,换成(英文)的话,实际上用4块SATASSD整个系统会比24块硬盘还要便宜。另外一种是我后面还是用硬盘,然后把(英文)放一块SSD,这种情况下也会提高40%。

这个是一个实例,不知道大家有没有听说过,就是(英文),在美国友一个叫(英文)的,他是SSD做成记忆卡的(英文),你可以看到它的延迟可以通过PCle,理论讲应该要快很多,不是快很多,就是延迟度很小,这是第三方的在美国金融交易的一个很大的银行,它们用的一个叫(英文)的ISB的软件,加上英特尔ISB,比较了几种,一个是(英文)的Pcle,还有我刚才讲的(英文)的接口的SSD,可以看到英特尔的,就是一个(英文),英特尔的(英文)和(英文)的延迟是重叠的,一样的,大概是50个(英文)。 而且可以看到这个地方上下波动很大,波动很大的意思是说(英文)不好,如果你做应用软件只能取最低点去写软件,这种(英文)对你的软件写起来比较容易,而且你要做(英文)分布式存储的话,你如果有一块盘,你整个系统都会乱,有一块盘,如果这个盘不一致的话,就像你每次的软件都要等最慢那一个,整体来说会差很多。

这是我们的SSD的,(英文)的一个产品的现在的一个规划,现在想进(英文),基本有两种,一个是SATA的,SATA还会在S3500、3600、3700,很简单的区别就是37最高端,7都是(英文)。6就是中间那种的,一天可以写三遍的,可以写5年,最低的有些应用像搜索啊,比如亚马逊有些搜索的东西就需要3500,3500是说(英文)很低,读的次数很多,基本写不是很多,可以一天写一次,或者干脆他们把软件优化,只是顺序去写,然后让那些(英文)读,主要是以读为主。这样从软件上优化以后,可以选择3500。

另外我们还有M.2,今天上午我们的大老板也说过80毫米的(英文),将来这个地方也会有PCLE接口的SSD。

刘钢:谢谢Jack给我们分享这么多成功案例,英特尔在各个地方的固态盘的存储领域和大数据分析,在数据库和金融在线交易里的成功应用。刚才大家看到英特尔的产品线其实针对用户的不同的应用,我们有不同的产品,既有现在的大家看到比较多的SATA的,也有PCIe的,所以在这么一个容量点英特尔有不同的产品,不同的接口有PCLe,有插卡还有2.5寸的,还有(英文)的,像口香糖大小的,所以有非常多选择,在固态盘方面。然后我想跟各位比较一下PCIe固态盘,相信它也会成为主流,PCIe固态盘跟原来的SATA性能比较怎么样?各位看这个图,蓝色就是PCIE,可以盘PCIE是读性能,SATA读性能是这个,我也想把硬盘做一个比较。所以最下面这个已经是硬盘的性能,但是大家都看到了,如果只看一个硬盘,你看不到硬盘的性能,所以我们放了50个最快的硬盘在一起,集合起来就是这个结果,比绿色的SATA比慢很多,如果跟SSD比就慢更多。而且固态盘现在其实它的速度受限于接口,而不是介质,所以介质慢慢快过接口,当你把接口从SATA改为SSD性能提高6倍,正好PCIe正好就比SATA快6倍,就是因为接口的影响。其实我们还有另外一个,今天看到我们很强调一点,就是让存储更靠近处理器,PCIe不仅速度快,延迟时间也短,所以当你真的的要做低延迟交易数据的时候PCLE是最好的选择,让数据更靠近处理器,发挥处理器平台的优势。

这一个简单的例子就是在一个数据库里面,原本转移一个100GB的文件,需要花31分钟,这是传统硬盘,采用闪存不到1分钟。所以通常有客户测试固态盘,经常借很多样品出来,因为鼓励大家先测试,借很多样品,无论是SATA还是PCIe,如果说性能改善25%,改善26%,因为如果固态盘测试,瓶颈不是在IO上面,改进肯定不是25%、30%,至少也是几倍。

由于有这样的优势,所以大家来看这个图,关于市场趋势有很多图,这个图是我挑出来比较清楚的,一目了然可以看出来未来在固态盘领域三个不同接口的发展趋势,这个是用(英文)衡量的。可以看到蓝色就是PCIe的,按照容量来划分在未来几年当中,到2018年,未来三年市场份额会占到50%以上。所以越早采用,无论是方案还是客户,越早采用PCIe的固态盘的解决方案,越早可以在行业里获得差异化优势,因为瓶颈就在获取数据上,不在处理数据上。

这个地方我想跟各位讲,因为各位看到英特尔的成功案例,也有很多人会说这些互联网服务商和行业用户为什么选择英特尔固态盘,英特尔固态盘跟其他比起来有什么不一样?我们总结了一下英特尔的固态盘有三个独特的地方。

第一就在于说英特尔固态盘非常了解生产固态盘的颗粒的技术,今天我们副总裁讲到了下一代的闪存技术,就是指甲盖这么大小的一个固态盘里面,还记得是多大的存储量吗?大家通常会担心固态盘容量,在指甲盖这么大小的固态盘里会达到1T,如果是在一个目前你看到的一个硬盘,一个2.5寸硬盘大小的一个空间里面,它的容量是多少呢?10个(英文),你看到当采用新的制成之后固态盘的容量显著提高,而英特尔是非常了解固态盘的颗粒的技术的,这是第一。

第二我们并没有停留在了解颗粒技术,而是企业的控制器到(英文),都是英特尔自己研发的,没有使用第三方的控制器,一个自己研发的控制器,并且英特尔自己研发的(英文)来搭配这个颗粒,这是第二。

第三其实就算这样也只是做出一个固态盘,固态盘最终是要跟处理器和服务器平台结合在一起才能构成一个完整应用的。更加独特的地方在哪呢?我们做了非常多的测试和软件优化工作,让软件的固态盘可以跟处理器和外围的芯片组,服务器平台和存储平台,怎么和固态盘可以很好很流畅的工作在一起,不仅是硬件方面,软件方面,包括我们跟很多公司伙伴在一起做测试,其实我们一个固态盘研发里面可能有好几个月,大多9个月以上时间在做测试,固态盘出来之后我们要做9个月以上的测试。所以看出来说当你要做一个固态盘,要跟整个平台进行接入,我们是既了解最新的颗粒技术,又自己研发控制器,同时跟整个服务器平台来做整体的整合,这个是英特尔的固态盘的独特的地方。

跟各位分享一下,这样做的固态盘最大的优势就是性能的稳定性,因为固态盘速度肯定很快,但是很多互联网服务商在选择我们的固态盘的时候看中的不仅仅是高性能,而是稳定的高性能,英特尔固态盘可以保持稳定的高性能。

这个地方大家知道3D的闪存技术提高容量,降低固态盘的成本,固态盘以后每一个GB的成本会快速的下降。要想固态盘更快刚才我一开始提到的有下一代的存储介质会出来,这个图可以看到,这个图上面每一格代表一个数量级的,相对于硬盘来讲有两个,大家看到这个图上下一代的非易失性存储比今天的(英文)也有提高,这个产品在明年就会出现,大家也会听到很多,我看到在座有国内的很多的存储方面的领先厂商,他们也在市场关注这种新的介质,大家很多都听说了,这种技术很近了,明年会看到,基于这样的技术互联网产品会出来,这样会对产业产生很大影响,不仅是存储架构,存储市场都发生很大变化,这正好是国内的合作伙伴有很好的机会,也是行业里面差异化领先的非常好的机会,叫弯道超速也罢,破坏性创新也罢,都正在发生。这是一个是(英文),另外一个是(英文),在(英文)以后的非易失性闪存技术。

这个是我们大概介绍的一些新的技术和产品,还有我们的成功案例。各位如果想了解更多的英特尔的成功案例和相关的一些培训可以直接扫描这个二维码,我刚才讲到的内容全部都有PDF文件,如果需要可以微信告诉我们,我们也可以给各位寄印刷板的解决方案手册给各位。谢谢各位花时间来听我们的介绍。

[责任编辑:朱朋博]
在存储峰会上午的主题演讲中,英特尔技术与生产部副总裁,兼英特尔非易失性存储解决方案与经营战略规划发展部主管李仁基发表了题为《颠覆性存储产品带来的技术革新的影响》的演讲
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.