中国数据存储服务平台

陈明雄:基于闪存颗粒实现高速、高效、高安全性

12月9日,以“新存储,新常态,新应用”为主题的中国存储峰会于北京悠唐皇冠假日酒店召开。中国存储峰会是每年一度的亚洲最具规模的存储产业年度大会,历时十二载,记录了存储产业的诸多变化,每年的存储峰会都吸引学术界、产业界和最终用户代表的积极参与。

在存储峰会的“闪存技术应用”分论坛的主题演讲中,柏科数据技术(深圳)股份有限公司技术总监陈明雄发表了题为《极速、安全、至简——柏科数据全闪存解决方案》的主题演讲。陈明雄的演讲内容基于闪存颗粒如何实现高速、高效、高安全性的数据存储,以及数据并发访问相关解决方案。

img_8663_%e5%89%af%e6%9c%ac

柏科公司希望通过与芯片厂商和闪存厂商的配合,把柏科数据做成一个国内一流的存储厂商。这个存储不仅基于性能,还要基于安全性。陈明雄表示:“我们希望把这一款闪存存储解决方案做成国内唯一的。同时我们也希望做到安全可控,同时国内技术是整个品牌国有化,整个技术国有化,整个技术可控化的这种愿景。”

以下为陈明雄演讲实录整理:

今天我给大家汇报的主题是基于闪存颗粒如何实现高速、高效、高安全性的一些数据存储,包括数据并发访问的一些解决方案。

今天我在展台认识了很多朋友,在沟通过程我发现,在存储界这块,很多人认为国内的华为、IBM见得比较多,但是柏科数据好像并没有听说过。今天我就花几分钟的时间为大家介绍一下。今天的主题包括这三个方面,第一个是柏科公司的介绍,第二对于闪存数据的存储以及发展趋势,第三结合柏科分析一下,结合闪存芯片应用之下如何实现给用户提供高快速的体验。

柏科公司是由一些海归青年组成,他们曾在美国惠普、IBM这些公司工作过,现在回来创业。结合我们在存储市场的一些销售渠道,包括一些有经验的产品经理,在2007年创建了这个柏科数据。从数据萌芽状态到数据茁壮发达,再到数据消亡,肯定是一个数据周期的管理。数据柏科一直围绕这个专线逐步进行数据发展。从2007年开始,柏科数据每年或每个季度都有一些产品会得到国、内外比较知名的奖项或者用户的认可。到了2016年的时候结合这些高速闪存介质,柏科也推出高可控。

自2007年成立以来到2009年,柏科数据有一些产品推向市场,也都得到了用户的认可。柏科产品涉及到生命周期,我们的产品涉及存储器、云计算,也有备份。柏科数据有很多基于这一块的业务,为客户提供非常可靠,可用性强的解决方案。我们从存储这一块到后期,在数据性的安全性上面都会做一个灾备。

柏科数据是注册在深圳的公司,目前在全国共有15个分支机构。这15个分支机构主要给各个区域提供更加便捷服务。

经过几年的发展,在2013、2014年,得到社保不容易,柏科在这方面给出了最佳的解决方案,包括这几年的云存储、超融合解决方案都得了到业界的认可。同时,柏科作为一家国内公司,它有非常多的这种技术专利,特别是在一些管理体系上面,或者在一些军工、社区里面都有非常多的用户。这里介绍的是柏科数据比较典型一些客户案例,包括医疗、金融、军工、在建或者行业里面用的一些存储系统。其实柏科数据都多多少少提供了产品在这些领域。

柏科数据的所有产品都提倡国产,可自主可控。柏科数据不是一蹴而就,马上研发就有产品,这其实是不对的。柏科数据产品通过跟上海交通大学的网络存储科学实验中心,复旦大学等一些专门存储实验中心的专家、老师共同开发,结合在军工产业的这些客户,多方合作再加上先进的技术、先进的理念,实现多方产品研发,最终实现产品落地。

第一个是自主可控,我们的IT信息化产生了非常大的影响,柏科数据致力于做这款产品,无须借鉴国外的。我们通过国内自己的人员研发和国内芯片结合在一起,提高安全级数的一个产品。

接下来给大家介绍一下。我们为产品的高效性进行一个整合,整合成一个高速的系统,给用户提供一个疾速的业务访问。就我自己对摩尔定律的理解,CPU的性能每隔18个月就要翻一倍。CPU性能在疾速提升,那么,我们假设在整个信息化平台里面有一个东西无法满足整个用户高速发展的要求,就会产生木桶效应,这个木桶为什么漏水?因为无法跟上所有的CPU、内存或者在主板性能方面的提升,导致出现一个短板。出现短板怎么解决?是闪存技术,它完完全全可以从漏水的地方补充上去,这个就是闪存。

%e5%be%ae%e4%bf%a1%e6%88%aa%e5%9b%be_20161222164642

首先,为什么很多企业都在使用闪存技术呢?第一个原因是性能提升。刚才提到摩尔定理,但是闪存的发展已经超过了摩尔定律。与机械磁盘性能相比,也已经超过50倍数的发展。

第二个价值是为什么如此多的客户在使用闪存,因为它的价值走向趋势比传统的要大,虽然没有达到这个预测量,但两年以后随着芯片颗粒完全成熟化,使用用户群体越来越广,是不是可以基本上去持平我们这种传统SSD技术,这是完全有可能的。同时基于这种SSD这种技术,它有多种丰富的接口。三星展出了这三款产品,SSD是SATA、SAS、PCI-E等,通过不同的借口进行有效的选择,同时可以降低我们的成本,来提高我们整个设备安全性、稳定性和高效运行。

随着这几年SSD技术的发展,在2020年机械会面临什么?同时闪存市场近几年也是在全球极其增长的过程。我们认为这个原来只认为的选型大数据库和闪存颗粒,随着技术下跌,传统行业趋势肯定会慢慢消亡。随着产品的边缘化,也不一定用到非常大密集、高性能的平台。也许在一些边缘的服务器或者视频中运用,计算上都有可能用到闪存技术,为客户提供更高能、性能、设备存储。

最后给各位介绍一下柏科闪存的存储解决方案。原油希望买一些国外高大上,价格非常昂贵的存储产品。柏科面临这些应用,投入比较有限也有比较关键的用户,我们也提供了这种急速闪存出来。我们提供两款产品,一个是RD8100,一个是RD8300的闪存展示其的性能,通过闪存的技术完完全全可以去匹配高端IOPS的高端需求。

既然我们这个闪存是拿出来做数据落地,而且是存储用户的核心数据,这时候可能对储存数据进行一个保护。基于全面保护经验,结合这个融合技术二合一,在用户故障或者节点出现故障的时候防止不丢失,同时防止不经营的技术,柏科的技术。

我们介绍一下柏科数据全闪存阵列。第一个架构是国内很多厂商能做的事,也就是活跟备的解决方案。柏科是基于全活的控制器,基于这个控制器可以做节点的集群,同时提供高IO的复杂。第二个是CPU用到英特尔4的高性能的CPU,每个节点里面可以用4路的CPU。整个处理器可以达到非常非常庞大176个CPU线程处理能力。同时在这个IU处理上面不会出现任何瓶颈。同时出现二级缓存,一级缓存可以达到5.8TB缓存值来进行动态的分配。最后在内部交付,内存和控制器的交互上整体可以达到0.1毫秒的延时。

整体的解决方案,非常高的数据传输力,包括非常低的IO协议时间给用户提供极速的数据访问。通过系统测试出来性能值,在这个性能值里面看一下,如果再进行写的时候是非常高的,而且它这个数据的密集程度非常高,进行这种读的时候,整个IOPS可以达到200万的IOPS,在持续访问带宽里面有一张表。这个是500000的读和2350000IOPS的写。

谢长生老师的演讲中提到,闪存会存在芯片颗粒这种读写的慢融性,目前有SLC、MLC、eMLC多种芯片,和SAS SSD、PCIE SSD、SATA SSD多种传输接口。这种投资有限的用户就会反过来考虑,我用的这些介质比较低端,数据写在里面万一出现数据丢失或者这个设备运行不稳定,导致这个数据如何处理,柏科数据做了一个5+1的解决方案。这个5+1在单台存储上面实现一个5+1。也就是在这种平台里面你可以选择低端闪存的存储系统,闪存的介质。通过控制器存储化技术做成RAID5+1好处,防止出现RAID的崩溃的导致数据丢失。这种配置就是存储双活,防止存储设备单点故障。就是我们任何一个存储出现故障,后方的存储也可以自动接管你的业务,保证你的安全性。这也不是一蹴而就,马上就能做出来的。也是基于柏科数据在一起,给用户提供低投入成本实现一个数据高安全性。

%e5%be%ae%e4%bf%a1%e6%88%aa%e5%9b%be_20161223120204

当然除了这些安全性以外,我们知道禁区数据缓解逻辑故障,这个就是柏科数据闪存产品的另外一些技术。这些技术包括本地可以做双活来防止物理故障,同时在双行的基础上通过快照,通过远程复制的关系去实现数据的一个防护,甚至保障在区域出现灾难时一个数据不丢失,柏科数据这个产品不仅提供的是一个高IOPS结合在一起,也能让我们的用户使用闪存有急速的体验,又可以保障安全性,所以我们叫多重数据保护。

当时柏科数据集合中心,使用SSD Flash检测磁盘读写的IO,检测数据调动,这种做法可以改进我们整个存储的性能。

1

统计显示,热数据、温数据和冷数据占总数据量的比例约为20%、80%。可以通过迁移的方式,把这些冷数据迁移到被动或者二级的存储上面,来保护我们的投资,提升我们的存储信任。

为了保证整个存储空间的可用性,除了空间精简技术,还可以基于这种快捷数据压缩技术。数据的压缩技术体现在两个方面,第一种方式,我们可以保护我们整个存储介质的有效投入;第二种方式是我们提到3D远程复制技术,可以通过这个技术实现远程容灾等功能,他是基于远程的IP传出来实现数据的异地灾备。该技术投入低,有可能一个VPN网络就可以实现从北京到上海的数据传输,这种技术能够使带宽投入下降。

针对于这些全局技术,就是如果单个磁盘中的一个芯片出现问题,柏科在上面做了一个优化,也就是把原有磨损不同的算法,在控制器上面又做了一个优化。在优化上面可以将IO损耗分摊到全盘,这样可以极大提升SSD介质安全性。基于动态的IOPS管理,基于有一些管理。我们知道这三种业务访问的情况是不一样的。

桌面虚拟化,我们对IO要求比较高的是在上班规划方面。也就是早上八点半到九点这个时间段员工陆陆续续上班,整个桌面化启动会读写硬盘和IO;第二个就是陆陆续续访问我的网站,这时候有大量的网络是基于网络系统的。因此,到晚上10点左右要对整个访问系统做一次处理,做一个IO的分析。在这个时间段中应用是不一样的,柏科产品这个功能就是有的放矢。针对业务类型的不同,我可以对这个IO进行一个有效调整。在这个时间点上面,从8:30到10:30把大量的IO分到VDI,当这个启动风暴完成以后,网络使用的并发可以把整个IO推荐到基于网络上,当做一个处理时候可以把IO调整到处理器上。这是一个管理,这个管理可以充分发挥我们闪存存储的性能,防止资源浪费,同时不让其它资源之间进行“打架”,避免“大家”去占用这些资源。这些平台化对用户非常实用,针对不同的业务我们分配不同的IO提醒,这时候整个IO运行会更加流畅。

结合整个流程,基于CPU变频,风扇调速这都是符合国家节能要求的。柏科整个产品设计里面,被用户认为是很简单的,用户只需要整机移过去,然后把中间分配给相应服务器,做一些相应的配置,整个动作就完成了,我们提供给客户的是一个简单的管理。第二个是高效,通过管理芯片给用户提供极速访问的应用要求。大家一直担心闪存肆意调动会出现故障,当你的闪存盘出现故障,闪存盘有可能出现瘫痪或者损害,通过我们的网络技术可以快速帮助用户恢复,这就是我们提供的安全性。

柏科数据目前针对闪存的应用发现,我们在基于这种的大型数据库或者基于这种搜索方面处于领先地位。同时在高性能计算或者现在服务器虚拟化,专业虚拟化,还有目前比较热门的大数据分析方面,我们都可以为用户提供非常高效,应用的解决方案。

最后我想总结一下,柏科公司有一个愿景,希望通过这些芯片厂商和闪存厂商的配合,把柏科数据做成一个国内一流的存储厂商。这个存储不仅基于性能,还要基于安全性。力求做到品牌国有化,技术国有化,技术可控化的愿景。

 

未经允许不得转载:存储在线 » 陈明雄:基于闪存颗粒实现高速、高效、高安全性
分享到: 更多 (0)