中国数据存储服务平台

2020中国(常州)数字经济产业发展与合作推进大会举行

张 妮娜

当前,蓬勃发展的数字经济成为推动经济增长的重要动能,数字产业化、产业数字化正在引发经济增长格局、生产生活方式的革新。12月3日,2020中国(常州)数字经济产业发展与合作推进大会在常州高新区举行,会议由常州国家高新技术产业开发区管委会、常州市发展和改革委员会、常州市工业和信息化局主办,常州国家高新区(新北区)创意产业园区管理办公室、中国软件和信息服务业网、中国计算机用户协会智慧城市分会、中国软件和信息服务业百人会和智慧城市评价网承办。大会聚焦5G、人工智能、集成电路等领域,邀请知名专家学者、行业精英围绕“软件赋能时代 数字创领未来”的主题,就数字生产、数字金融、数字政务、数字创意、数字医疗、数字通信等领域深入研讨,共绘数字经济发展蓝图,助推产业高质量发展。

大会现场

总投资15亿元重点项目签约,加码融合创新业态布局

常州国家高新区(新北区)、创意产业园区签约大象慧云研发中心、车规级芯片设计研发、高性能功率半导体芯片设计研发、新能源汽车智能充换电系统及数据运营服务中心、AI智慧园区系统、“ITnet”物联网系统、5G云游戏等12个重点项目,总投资15亿元,涉及数字税务、人工智能、物联网、智慧医疗、5G场景应用、芯片研发、智能交通服务和智慧能源管理等数字经济多个领域,加速“数字经济+实体经济”融合创新及成果转化。

常州市委常委、高新区党工委书记、新北区委书记周斌

常州市委常委、高新区党工委书记、新北区委书记周斌出席会议并致辞。周斌指出,常州高新区集聚了全市三分之一的外资企业和三分之一的高新技术企业,形成了光伏智慧能源、新材料、新能源汽车及汽车核心零部件、新一代信息技术、新医药及医疗器械、现代服务业等“两特三新一现代”产业集群,今年底全区地区生产总值将迈上1600亿元台阶。随着数字时代的到来,如何认识数字经济、拥抱数字经济、用数字经济赋能产业转型升级成为新课题,常州高新区必须认识、接触、利用、抓住数字经济的新机遇。面向“十四五”新阶段,常州高新区将开启现代化新征程,更大力度推动数字经济产业发展,积极扩大“朋友圈”、培育“生态链”,加快人才集聚、资源集聚、数据集聚,实现“化学反应”、催生爆发增长,引领带动区域经济高质量发展。创意产业园区作为“三新经济”发展之核,形成了新产业、新业态引领实体经济转型升级的良好发展格局。面向“十四五”新阶段,高新区将更大力度推动数字经济产业发展,加快人才集聚、资源集聚、数据集聚,引领带动区域经济高质量发展。

大咖思想碰撞,共话数字经济产业生态

中国工程院院士沈昌祥就创新发展安全可信集成电路产业,夯实国家网络安全基础,推动数字经济健康高质量发展专题探讨;中国工程院院士谭建荣深度剖析数字经济与数字产业的关键技术与发展趋势,洞见产业前景;京东集团副总裁蔡磊带来互联网发展与财税创新独到观点;中国电子信息产业发展研究院副总工程师安晖 、东软集团副总裁兼平台产品事业本部常务总经理纪勇、用友网络科技股份有限公司副总裁郝伟明等行业大咖分别从数字经济的新局与新机、软件的力量、商业创新如此便捷等视角思想碰撞。在分论坛活动5G时代的机遇暨第七届中国智慧城市建设推进大会上,华为全球智慧城市总架构师郑志彬,阿里巴巴集团政府事务部总经理、阿里云计算有限公司副总裁李树翀,上海云轴信息科技有限公司苏南区域总监薛延安,江苏省移动集团客户部副总经理杨谦,浪潮集团副总裁、爱城市网总经理罗森,中软国际云智能业务集团云服务产品线总裁余航等业内专家论见5G时代云网融合、产业生态链构建、数字政务与城市服务、智慧城市发展、企业数字化转型等领域,推动5G、人工智能、大数据、工业互联网等新一代信息技术深化与实体经济融合应用。

共筑数字经济高地,按下高质量发展“快进键”

项目签约仪式

“新三板”挂牌企业8家,创业板资产重组1家,40多家企业在区域市场挂牌,吸引社会资本50多亿;培育经认定的高新技术企业40家,省高新技术产品94只,市级以上研发机构17个……在常州国家高新区(新北区)创意产业园区,一个科创生态圈正在崛起。园区建成以来,多次荣获荣获国家电子商务示范基地、国家级文化和科技融合示范基地、国家火炬计划软件产业基地、全国版权示范园区等“国字号”品牌,2019年度在省级生产性服务业集聚示范区综合评价中位列常州第一。

围绕打造具备区域辐射力的“三新经济”发展高地定位,园区加速与属地三井街道“园镇融合”改革步伐,形成以数字工业、数字医疗、数字金融、数字政务、数字创意、数字消费等为鲜明特色的数字经济细分产业矩阵,不断拓展垂直应用场景,涌现出鑫亿软件、金蝶软件、立卓信息、爱尔威、银科金典、同和信息、富深协通、新博软件、长盛天成、新途软件、哈勃新能源等一批创新企业,以产业数字化赋能实体经济转型升级。

园区还针对运营管理及企业服务中的痛点、难点,建设智慧园区平台,实现一个平台织就三张网——园区管理服务集成网、企业全生命周期管理系统网、园区安全生产管理物联网,以运营管理“上云”带动园区服务“下沉”。

腾讯云副总裁刘颖:云开发是腾讯C2B战略的技术抓手

张 妮娜

“过去一年多的实践数据显示,借助云开发,应用开发的人力成本可以降低50%、云资源使用成本可降低30%。”在11月29日腾讯云与微信联合主办的第二届“小程序·云开发”技术峰会上,腾讯云副总裁刘颖揭示了云开发在应用开发上的突出成效。

让人人都是“开发者”

“小程序·云开发”是腾讯云与微信联合推出的微信官方云原生开发平台,平台采用Serverless架构,集成腾讯云云函数、容器、云存储、云数据库等后端能力,让开发者无需自行搭建、运维服务器,即可在平台上开发、上线应用。

除了小程序,云开发还支持公众号、Web应用、H5、App等多端,开发者可以一次开发、多端部署,显著提升开发效率、降低成本。

据刘颖介绍,上线两年时间,已有超过100万开发者在使用云开发构建他们的小程序、公众号和移动应用,云开发平台每日调用量超过7亿次,这标志着云开发成为国内最大的Serverless开发平台。“云开发的愿景,是让人人都是‘开发者’,助力企业降本、增效和创收。”

人力成本降低50%,云资源降低30%

刘颖表示,云开发的核心原理是将后端资源Serverless化,让云服务像调用API一样简单好用,发者只需关注业务代码而无需管理底层基础架构。前后端一体化的云开发模式,让开发者轻松成为“全栈开发者”。

2020年,云开发还正式推出云开发低码平台,通过可拖拽式构建应用进一步降低开发门槛,无需技术背景即可搭建小程序/Web网页,让开发者的群体边界越来越广泛。同时,云开发低码平台提供专业的行业模板,助力企业一键上云。

刘颖指出,云开发在人力成本和云资源成本两方面都有显著优势。在人力成本方面,云开发统一前后端开发,节省应用开发过程中过多的联调环节,不仅减少人力投入,还大大缩短研发周期。过去一年多的实践数据显示,应用研发的人力成本至少降低50%。

在云资源成本方面,云开发的Serverless架构可根据应用流量自动扩缩容——当流量洪峰来时,可实现毫秒级扩容;当没有流量时,资源可缩减至0。企业和开发者无需为高并发而提前囤积大量的资源,成本可减少至少30%。

云开发,腾讯C2B战略的技术抓手

2018年9月,腾讯宣布进军产业互联网,有着20年历史的腾讯具备成熟的数字化工具和技术能力,能够为行业提供“最有效的数字接口和最完善的数字工具”,助力各行业实现数字化转型升级。

在腾讯C2B的新战略中,微信、公众号、企业微信等在内的内部生态与外部合作伙伴、企业客户的双向链接,是这一过程中的核心环节。“云开发是腾讯C2B战略的技术抓手”, 刘颖表示。

一方面,云开发集成了微信生态能力,包括小程序、小游戏、公众号、微信开放能力、微信支付和微信广告等。另一方面,云开发又集成了腾讯云能力,包括计算、存储、网络等基础能力,大数据、人工智能、物联网等应用能力,腾讯会议等企业SaaS以及金融、文旅、教育等行业解决方案。

最终,腾讯通过云开发为企业提供完整的一站式Serverless化后端资源和服务,并帮助企业精准获客、洞察增长趋势,实现业务的价值增长。“从研发平台到微信生态用户增长工具,云开发已覆盖产品研发到产品增长的全生命周期,助力企业降本增效创收。”

2020:AWS云上八大类型数据库简介

朱 朋博

十年前学习编程语言的时候,基本只要会用MySQL,SQL Server,Oracle就够用了,但是2020年,只会用这几个数据库就远远不够了,这些数据库都是关系型数据库,都诞生了几十年了,第一个商用版的Oracle数据库是在1979年发布的,第一个SQL Sever是1989年发布的,第一版的MySQL是1995年发布的,可以说,关系型数据库都算是经典数据库了。

关系型数据库使用频率非常高,在2020年11月的十大最流行数据库TOP10排行中,超过一半的都是关系型数据库,此外,还有一个文档数据库、一个键值数据库、一个宽表数据库、还有搜索引擎数据库,不过,从类型上来看,这还不够,AWS在公有云上提供的数据库类型就有八种。

如上图所示,AWS上一共有八个类别的数据库,基本涵盖了各种常见的数据库,除了关系型数据库,还有键值数据库、宽表数据库、文档数据库、内存数据库、图数据库、时序数据库以及分类账数据库,其中,关系型数据库种类最多,用的人也最多。

我们今天从最常用的关系型数据库开始,梳理一下AWS云上数据库,以及他们的主要用法。

关系型数据库RDS

AWS RDS是2009年发布的,它如今提供五种托管的关系型数据库,包括MySQL、MariaDB、PostgreSQL、Oracle和SQL Server,用户可以将数据库从本地迁移到云端数据库,AWS提供多个版本供选择,基本可以不用做任何修改将数据库迁移到云上。

这种托管的方案照顾了用户原有的使用习惯,便于用户迁移。云端关系型数据库用起来更省心,不用进行各种麻烦的运维工作。

普通用户只需点击几下鼠标就可以创建一个关系型数据库(RDS),以MySQL为例,可以选择数据库的版本,可以选择运行MySQL的主机的规格,可以配置存储类型(是SSD还是磁盘),在容量不够的时候还能自动扩容,还能设置多可用区备份实例,以确保安全。

另外,AWS还提供了一种自己独有的,专门为云环境而设计的关系型数据库——Amazon Aurora,它是2014年发布的一种兼容MySQL和PostgreSQL的关系型数据库,所谓兼容,就意味着MySQL和PostgreSQL可以无缝迁移到Amazon Aurora。

用户可以像刚才一样进行各种设置,也可以选择无服务器的模式,这种模式其实是AWS更推荐的方式,它可以不用设置主机、存储类型以及多可用区,只管用就可以了,不用关心性能和可用性的问题,也不用任何升级和维护的操作。

Amazon Aurora既满足了商业数据库的性能和可用性的要求,同时,又把成本降低到商业数据库的1/10,此外,AWS还做了性能上的优化,使得Amazon Aurora的吞吐量可以达到MySQL的5倍、PostgreSQL的3倍。

由于Aurora底层使用了分布式存储系统,可以将数据存储在三个不同可用区的数百个存储节点上,所以,它的扩展性很好。性能扩展性方面,三个可用区最多可设置15个低延迟读取副本来提升性能,能满足每秒数百万次的读取请求。在容量扩展性方面,它可以自动增加存储,每个实例最高增长到128TB。

在可用性方面和持久性方面,Amazon Aurora提供高于99.99%的可用性,可跨3个可用区复制 6份数据,并能将数据持续备份到 Amazon S3 中。它能以透明的方式从物理存储故障中恢复,实例故障转移用时通常不超过 30 秒。在安全性方面,AWS也做了很多特殊处理,比如有VPC网络隔离,还有各种加密操作。

Amazon Aurora另外一个特点是支持并行查询,可以同时运行分析查询和事务查询,Amazon Aurora可以跨成百上千个存储节点进行查询,多节点并行操作大大提升了查询的速度,而且,这一模式还能减少对于网络、CPU 和缓冲池资源的争夺,在并行查询时性能表现更稳定。

作为AWS最引以为傲的数据库产品,Amazon Aurora能与AWS平台的其他服务结合起来使用,能与 Amazon Athena(交互式sql查询服务 )和Amazon QuickSight(BI服务)结合使用,能与Amazon SageMaker(机器学习IDE工具)和Amazon Comprehend(自然语言处理)集成使用,结合起来使用,有助于快速构建数据洞察能力。

广州虎牙信息科技有限公司海外游戏直播业务后台负责人马昭表示:“AWS成熟稳定,是虎牙直播延伸国际业务的理想选择。”

虎牙直播在数据库后台中使用了Amazon Aurora,Amazon Aurora主要用来存储用户的静态基础信息,在使用中,Amazon Aurora的自动扩容,能够单独升级计算实例,5倍于MySQL的性能表现,10秒左右的快速故障转移,以及全球数据库功能都是虎牙直播非常认可的方面。

当然,只有Amazon Aurora是不够的,虎牙直播还用了Amazon DynamoDB来存储动态信息,包括支付、状态、好友关注关系等动态信息,Amazon DynamoDB的优势是有稳定的高性能、低延迟表现,特别是在当流量突发的时候更有价值,比如网红大主播上线的时候会引起流量暴涨,而Amazon DynamoDB都能始终如一地提供毫秒级性能,。

这里主要想谈的是Amazon Aurora,关于Amazon DynamoDB的介绍可以接着往下看。

Amazon DynamoDB键值数据库

Amazon DynamoDB是AWS在2012年发布的键/值和文档数据库,最早是为了处理亚马逊电商业务高峰期系统瓶颈问题,经过仔细分析后却发现原来70%的运营需求是键值型数据的查询,且只需要返回含有主键值的一行数据即可。于是AWS工程师们意识到,这样大规模的特定需求,需要一种不同类型的数据库,这就是非关系型数据为Amazon DynamoDB,最终被亚马逊电商验证的一个方案,可以说,它的出生和演进都与互联网业务的有着千丝万缕的联系。

Amazon DynamoDB属于NoSQL(No-Not Only-不只是SQL的数据库)数据库的一种,它每天可以应对超过十万亿次,峰值每秒超两千万次的请求,存储容量可以达到数个PB,非常适合移动、Web、游戏、广告技术、物联网等对查询速度要求很高的场景。而且,操作简单易上手,运维管理成本也低,比较受欢迎。

Amazon ElastiCache内存数据库

Amazon ElastiCache是2011年发布的一款托管内存数据库服务,它支持两种开源的内存数据库引擎:Redis和Memcached,用户最看重的就是内存数据库的高性能表现,它可以提供亚毫秒级的延时。

场景方面,它适合缓存用户的信息(比如用户会话),它适合用在电商平台,适合用来构建聊天室,适合用来创建游戏排行榜,总之是数据量特别大、延迟要求又高的那类场景,以互联网类应用最为典型。

Amazon ElastiCache在安全性方面也做了许多工作,比如,有用于集群隔离、静止/传输加密和HIPAA合规的VPC,以此保护用户的敏感信息。

扩展性方面也是优势所在,它可以通过创建副本进行在线扩展,而且可以扩展的很大,Amazon ElastiCache for Redis甚至可以扩展到320TB,Amazon ElastiCache for Memcached可以扩展到12TB。

高可用性方面,通过多可用区实现自动的故障切换,当主节点出现故障,Amazon ElastiCache在将副本提升为主节点时,能最大限度降低影响。

与直接使用开源的Redis和Memcached相比,Amazon ElastiCache提供了经过端到端软硬件优化功能,而且,有一帮AWS的专家在盯着开源软件可能出现的安全问题,如果有问题能尽早下手解决。

Amazon DocumentDB文档数据库

Amazon DocumentDB是2019年1月发布的,这是一款快速的、可扩展的、高可用的文档数据库,它是AWS开发的能兼容Amazon MongoDB的数据库,用Amazon MongoDB的人几乎可以无缝的切换到Amazon DocumentDB上来,可以复用原来的代码。

Amazon MongoDB存储的所谓文档其实是JSON数据,JSON是一种典型的半结构数据,它最大的特点是能适应字段不确定的场景,文件模型非常灵活,便于对应用程序进行快速调整和迭代,从而缩短开发时间,典型场景方面,比如在电商平台里它负责存储商品信息、买家评论等内容。

用户自建并管理Amazon MongoDB数据库还是挺麻烦的,在数据量上来之后的性能下降令很多人头疼,而Amazon DocumentDB托管服务就比较省心了,Amazon DocumentDB在性能上做了一些优化,可以达到现有托管的Amazon MongoDB的服务量的两倍。

Amazon DocumentDB架构设计上将存储和计算进行分离,两部分资源可以独立扩展,几分钟时间就可以在三个可用区内添加多达15个低延迟的只读副本,来轻松地把读取的容量增至每秒钟数百万个请求,无论数据的大小都能做到这点。

可用性方面,在设计上实现了四个9的可用性,可以在三个可用区里复制了六个数据副本。Amazon DocumentDB 采用一种有容错能力和自我修复能力的分布式存储系统,每个数据库集群可自动扩展至 64TB。

Amazon Keyspaces宽表数据库

2020年4月,AWS正式推出Amazon Keyspaces,它是一款兼容Apache Cassandra的数据库服务,原来Apache Cassandra用户可以无缝切换到新的Apache Keyspaces上。发布后不久,中国的两个区域(由光环新网运营的 AWS 中国(北京)区域和由西云数据运营的 AWS 中国(宁夏)区域)也很快都陆续上线了。

Apache Cassandra在2011年发布了第一个正式版本,它是一款典型的宽表数据库,数据模型基于谷歌的 Bigtable,存储则采用了亚马逊的 Dynamo 的分布式设计方案,AWS后来提供了Apache Cassandra的托管服务。

考虑到Apache Cassandra存在的一些问题,AWS修改了Apache Cassandra的代码,使得它能够作为一款托管的无服务器服务,让用户无需做任何管理操作,而且可以按照实际使用的资源付费,可以用它轻松构建一个每可处理数千个需求的,吞吐量和存储空间几乎无限的应用程序。

Amazon Neptune图数据库

Amazon Neptune是2018年5月发布的一款完全托管的图数据库服务,所谓图数据库跟图片没关系,它描述的是现实世界中个体和个体之间网络关系的数据结构,虽然有一些开源的实现方案,但AWS并没有直接采用,而是兼容了部分标准之后提供了专有服务。

图数据库的典型场景不难想象,它适合在社交网络上管理社交关系,实现好友推荐功能,在电商网站上猜你想买,推荐商品,此外还有知识图谱等场景,总之,是数据与数据有关联关系的应用。

Amazon Neptune提供了图数据库引擎,可以存储十亿个关系,并让查询的延迟降低到毫秒级,关联关系的查询其实很复杂,如果用关系型数据库处理这种数据的时候,数据库操作非常多,性能会下降的非常厉害,而Amazon Neptune的查询能将延迟降到毫秒级。

这里我们看一下Nike耐克的应用,Nike有一款应用,它需要记录运动员的技能、喜欢的运动、关注它的粉丝、以及粉丝喜欢的运动,数据相互间是有关系的,原本采用关系型数据库的话性能会很差,但当采用了Amazon Neptune以后,性能得到了非常大的提升,Nike有2500万个用户的关系存储在Amazon Neptune中。

Amazon TimeStream时序数据库

Amazon Timestream是2020年9月底发布的一款时间序列数据库服务,时间序列数据是按时间顺序记录的数据列,对时间序列进行分析可以找出样本内时间序列的统计特性和发展规律,构建时间序列模型,进行预测。

Amazon Timestream适用于物联网和运营应用程序,该服务每天可以存储和分析数万亿个事件,与关系型数据库相比,速度提高了1000 倍,而成本仅为关系数据库的十分之一。

作为一款托管服务,Amazon Timestream节省了管理时序数据的时间和成本,作为一款无服务器服务,它的性能和容量能自动伸缩,可以近乎无限地进行扩容,用户无需关注底层基础设施。

Amazon Timestream有数据分层策略,把近期数据保留在内存中,历史数据放在低成本存储层,Amazon Timestream的查询引擎可以对各种数据层的数据进行查询,此外,Amazon Timestream 内置了时间序列分析函数,帮助用户近乎实时地识别数据的趋势和模式。

此外,Amazon Timestream 还能与AWS IoT Core(用于 IoT 数据收集)、Amazon Kinesis 和 Amazon MSK(用于流式处理数据)、Amazon QuickSight(用于无服务器商业智能)和 Amazon SageMaker等服务集成来使用。

Amazon Quantum Ledger Database分类账数据库

Amazon Quantum Ledger Database (Amazon QLDB)是2019年9月发布的托管的分类帐数据库,可用于跟踪每次的应用程序数据更改记录,它会不断维护完整的,而且是可验证的更改历史记录,这些记录无法修改,类似于区块链。

应用场景方面,它适合用来记录企业的经济、金融历史,或者修改维护的历史,或者银行借贷,或者保险索赔数据。实际应用场景对于可扩展性有很高要求,这就是QLDB作为全托管的分类帐数据库的优势所在。

宝马使用QLDB构建了一款应用,这款应用负责追踪汽车数据的变化,记录哪些数据呢?买车之后,加油、年检、交通事故、维修记录、换轮胎等都会记录,而这些数据是不可修改的,数据本身非常可信,为汽车交易提供了非常有力的支撑,都知道二手车市场水非常深,这款应用能避免篡改记录让二手车买家蒙受损失。

结语

以上就是AWS提供的八种数据库服务的简要介绍,可以看出,类别还是非常全的。

对于比较经典的主流数据库,AWS提供了托管现有服务和自主开发新服务的模式,比如RDS,照顾用户原有应用资产。对于比较新的,没有特别有影响力的数据库类型,AWS则是以自己的实现方式为主,比如图数据库和分类账数据库。

传统的关系型数据库是最常用的类型,而新的数据库则更能灵活满足用户在新场景上的需求,AWS的数据库服务在性能上、可扩展性上、在安全和可用性上都有许多设计,能让用户把大部分注意力放在业务方面。

云上数据库以较低的成本为大部分用户输出了AWS优化过的最佳实践,为了方便用户使用这些服务,AWS提供了便捷的数据库迁移服务——Amazon Database Migration Service ,方便用户迁入迁出。

据资料显示,DMS在2019年对超过20多万个数据库进行了迁移,这个数字超过了2016年到2018年的总和,数据库向云迁移的速度在加快。

西部数据刘钢:创新存储架构,迎接数智未来

张 妮娜

11月18日,西部数据公司副总裁兼中国区业务总经理刘钢在2020中国数据与存储峰会上发表题为《创新存储架构,迎接数智未来》的主题演讲。数字化时代,数字是生产力,是石油,相对工业时代的石油,在数字化的演进当中,数据的存储的场景也在发生变化,从终端到边缘到核心,从数据的采集、处理、传输到分析存储,对整个数据的存储,提出了各种各样的要求,既有对数据容量的需求,功耗的需求,也有对数据时延的需求还有成本的需求,所以针对不同的数据存储的场景,用户需要不同的存储方案。

从NAND颗粒到整个的数据中心的存储系统,西部数据都有完整的产品和解决方案,你可以看到我们的产品被应用到多种场景,既包含了手机、照相机、还有PC机,甚至是自动驾驶的场景,同时也可以看到,在数据中心的云计算和大规模的数据存储的场景,甚至我们也有JBOD和JBOF,这样高密度的存储服务器和设备。在多种的存储场景当中,我们也看到,其中尤以数据中心的存储场景和应用发展更为迅猛。

18T会成为企业级硬盘的主要容量点

在企业级的存储,尤其是在数据中心里面的存储,需求快速增长,这个增长不只是来自于我们想到的SSD的容量的增长,总的容量增长非常迅速,其实企业级的硬盘的总的容量也非常迅速,我们看到年化增长率的话,企业级的SSD年化增长率大概是47%,企业级的硬盘增长率其实也非常快,39%,那么企业级的硬盘年化增长率是怎么来实现的?它其实并不是通过盘的数量来实现的,而是盘的密度和盘的容量来实现的。

在过去的两年当中,从12T到14T这是主要的容量节点,再到今年我们看到16T成为一个相对主要的容量点,但是今年的第四季度开始,到明年的全年,18T会成为企业级硬盘的主要容量点,带来了很多密度上的增长和进展。

除了企业级硬盘的容量的增长和密度的增长以外,在企业级的固态盘部分我们也看到这样的趋势,那就是一方面对于速度和时延的要求NVMePCIe的接口,成为一个主要的固态盘的接口,大概超过大概百分之七八十以上的固态盘接口未来会变成NVMe的接口的。

另外,在NVMe接口里,我们可以看到Gen4就是第四代的NVMePCIe的接口会逐渐的出现,尤其是明年的下半年,随着整个服务器平台的演进,NVMe的Gen4这个部分,也逐渐会增长。

企业级固态盘市场的发展趋势从总体来说,今年以绝大部分95%以上,以Gen3为主,明年最主要的NVMe的接口还会是Gen3,而随着服务器的平台演进,下半年Gen4逐渐开始成熟。

企业级存储架构仍面临巨大挑战

随着数据的快速增长,用户对大容量有了新的需求,还有一部分用户的需求,其实不只是要存储更多的数据,用户需要很多数据得到实时的处理,实时的分析,来提供预测,甚至来支持及时的交易,这个时候用户对时延、吞吐量也有很多的要求,对于存储性能的需求,要求也快速增加,同时,还需要能够在持续降低存储的总体成本TCO,另外还有功耗本身也是数据中心的一个很重要的需求,所以这四个方面的需求,是用户对企业级数据中心的存储提出了新的要求,

我们通常也知道,有三件事情你不可能同时得到,大容量、低时延还有低成本,这三件事情其中能同时到两件事情,可能比较容易,任何一种存储介质存储方案能让你实现其中两件事,你找到一个存储介质和存储方案,实现三件事情通常是比较难的,也导致了我们谈到的对数据中心的存储架构我们要进行创新,有新的存储架构,可以帮助我们更好的用适当的存储介质,来满足用户相应的需求。

今天我们看到的存储架构的分层,针对用户的需求,需要持续的低延时的时候,需要持续高IOPS的时候,你可能需要的是极热存储和热存储,把这份应用用户的需求定位极热存储和热存储,还有一部分是用户需要高的IOPS,但是并不是需要持续的高IOPS,有带宽的要求,性能的峰值要求有的时候要求比较高,也不是特别稳定的,不是总需要持续高的性能要求,那个时候我们叫温存储,还有一份我们叫冷存储,用户会有少量的写入,多次读取,这叫冷存储,还有一种我们看到是极冷存储,这就像在金融、医疗,甚至是广电行业,我们看到一些数据的长期的归档这种存储,这个通常会是一次写入,极少读取,这部分我们叫做极冷存储。

优化存储架构,契合用户业务场景

针对这五种不同的对存储的需求,用户的使用场景,其实我们不能用一种存储方案来满足,我们需要用存储分层来满足他们,那就是我们用DRAM和高性能的SSD来满足极热存储和热存储的需求,然后用主流的SSD来满足温存储需求,用传统的CMR大容量硬盘来满足冷存储要求,用最新型的叠瓦式的大容量盘的SMR HDD来满足极冷存储的需求,很多用户分为上下两部分,把极热、热存储部分叫做快数据,往下追求容量的部分,我们叫做大数据,对用户既有对快数据的需求,也有对大数据的需求。

针对冷存储和极冷存储,西部数据的相应解决方案和产品是什么,现在冷存储最新的解决方案是CMR的,16T和18T的两种大容量的高密度存储硬盘解决方案。极冷存储,在这个部分,目前的最新产品是20T的SMR,大家可能会想到容量的提高,对用户带来什么好处呢?对用户带来的好处,可能用户说我增加了新的大容量也盘,是不是成本会提高?其实总体的用户成本反而会降低,因为你的存储密度变高了。

举例子,像行业用户通常会使用到8T的硬盘比较多,在很多行业我们看到用户还在使用8T的盘,但是实际上现在空气盘的最大容量已经提到了10T了,我们也看到很多的行业用户积极的从8T到10T,从8T迁移到10T的空气盘,在企业级的数据中心或者应用里,带来了什么好处?这个突骑施做了一个很好的分析。

存储密度提高了25%,功耗降低了21%,但同时由于密度的提高,让你的服务器达到同样的容量,服务器的使用减少了20%,导致了总体的拥有成本里面的部署成本至少降低了10%,同时由于长期的减少了功耗,和减少了空间的占用,实际上总体的长期的拥有成本降低的话,其实比10%还多,所以用户只是从8T的空气盘升级到10T的空气盘,就得到这样的好处,这是对于企业用户或者行业用户用的比较多的容量点8T到10T。

对于互联网服务来讲,他们其实用的硬盘的容量点,还更加的大和高密度,我们看到云客户,现在通常的容量点,去年可能是12T,今年我们看到有很多14T容量点的使用,从这个季度开始,我们看到越来越多的互联网的客户把容量点从14T提高到了18T,我们已经看到很多的项目已经到了18T,这个时候从14T到18T的迁移,给用户带来什么好处?首先,存储密度提高了29%,功耗降低了21%,服务器的使用量同样的容量总体容量,服务器的使用减少22%,部署成本降低了11%,长期的TCO甚至会更多,因为你降低了功耗,降低了使用的空间,所以我们在冷存储和极冷存储当中让我们从容量点8T到10T,对于企业级用户,或者从14T到18T对云客户来讲,给用户带来的好处,对存储的系统带来的总体的成本的降低,密度的提高,还有功耗的降低。

刚刚讲完的是冷存储和极冷存储,那么存储分层里,我们还有热存储,和温存储,热存储相当于在计算密集型的节点的时候,你需要高性能的访问数据,低时延,高带宽,对于这样的用户的存储需求,WD会有高性能的固态盘840这个在今年的6月份发布了,尤其适合场景是50%读和50%写,这种写比较密集型的应用场景里,它能够做到的DWPD耐擦鞋次数有1和3两种,而且它的通道数高达16通道,性能非常好,尤其适合热存储。

温存储,我们已经有大量的部署640产品,在过去的一年中,有很多的客户在部署,还有一些客户在测试,目前大概部署测试客户加起来在全球有一百多家,这个部分我们也看到,它比较适合主流的存储场景,大概70%的读,30%的写,它的DWPD有0.8和2两种,非常适合混合的工作负载的应用场景,来满足这部分用户的需求,这是两条主要的NVMe的固态盘的产品线,这两个可以进一步的看到,他们在数据中心的应用场景里面的适用范围,可以看到针对混合随机工作负载,比较适用这一款640,它针对的应用场景大概是这些,有云存储,读取密集型的工作负载,还有在线的数据分析OLAP,还有一些数据库的应用,甚至还有一些超融合的应用场景,这个都比较适合我们这一款640。

刚刚我们提到了,针对计算密集型,尤其是写密集型的应用场景,用户可能是50%读50%写的场景,我们有这款高性能的840来满足用户这部分的需求,这部分包括一些人工智能、云计算的virtualization,还有AI的一些实时的分析,然后试试的在线交易,这些部分我们都可以用这款840的产品来满足用户的需求。

西部数据的固态盘,尤其是企业级固态盘的优势有三个方面构成。一是拥有技术领先的NANDFlash的制造工艺,其实是和东芝一起合资建厂,有大量的领先的NAND产能,这是一部分,我们非常熟悉NAND的技术。第二个部分就是针对企业级的固态盘,西部数据有自主研发的固态盘的控制器,所谓的固态控制器,针对各种负载,有做相应的均衡和隔离,来提高它的性能和一致性,然后还有在这两个硬件之上,我们有自主研发的firmware,固件,来进一步的优化整体的性能,企业固态盘的性能。

所以这三种自主运营,拥有的领先技术在一起,会更方便我们针对企业级数据中心固态盘做纵向的集成,并且对性能和稳定性一致性做极致的优化,这个是非常明显和独特的优势。

刚刚讲完了数据的分层,针对不同的数据的应用场景,从极热数据到热数据到温数据到冷数据和极冷数据,从上到下的一个分层,用不同的存储介质解决方案来满足用户的需求。

除此之外,数据中心还在发生另一个变化,数据中心本身的架构也在演进,一些传统的放在服务器里面的一些资源被分解出来,像存储、GPU、FPGA这样子的部件,被分解出来,放在专门的资源池里面,通过硬件资源的重新组合,可以让更多的服务器、服务器节点可以共享这些高性能的存储,或者大量的存储资源池,这点非常重要,大家可以看到有很多的厂商已经支持这样的基于光纤网络、NVMe over Fabric,把资源池分解出来,提供给更多的服务器来使用,这也是一种创新数据中心存储架构的方法。西部数据积极地支持NVMe over Fabric一种新的存储架构,在数据中心里面的部署。

日前,西部数据发布了基于NVMe over Fabric的产品——OpenFlex Data24,这款产品能够支持24盘位的,刚才讲到840高性能固态盘,同时支持6块NVMe over Fabric网络的适配器,可以让更多的通过光纤网络100g的光纤以太网,让更多的数据中心的服务器节点能够享受到高性能固态盘的存储的优势,所以这是在可分解的存储架构,上面我们进一步的优化和创新存储架构,给用户带来更多的存储部署的优势。

“存储在发生巨大的变化,有非常大的进展,希望和存储的厂商、存储的服务商、存储的软件公司,一起有更多的合作,为用户提供更多更完整的针对不同的应用场景的存储解决方案,”刘钢表示。

2020,戴尔存储选购指南

朱 朋博

前言

一直想写一个有助于存储采购的参考性内容,在最近与戴尔高层的采访中,我得到了一些新的启发。

不过,这也并不是一篇特别严谨的选购指南,只是觉得,戴尔现在的存储产品线很全,而且是从(EMC全系+戴尔中低端存储)原本很复杂的存储产品中精简而来的,理论上只会留下最能满足大多数人需求的方案,用户选型时,将自己的需求与产品的能力相对应即可,你可以不选戴尔的方案,但不得不参考戴尔选定的方向。

2020年五月份,戴尔科技集团新发布了以PowerStore为主的系列产品,这标志着产品线的整合要告一段落了,戴尔操刀基本完成了存储产品线的简化和去冗余,产品构成更为清晰,用户看的更清楚,渠道合作伙伴也更明白,存储和服务器销售团队也完成了整合。从市场格局来看,戴尔和EMC的融合体形成了。

2020年11月,中国国际进口博览会期间,戴尔在上海召开了2020戴尔科技集团存储用户峰会,此次活动以“新存储,塑新局”为主题,似乎也是在向外界透露出,新产品线之后将要发力的信号,或许是在暗示说这是改变局面的一个开始,或者是改变存储格局的一个开始,总归是对未来发展很有信心。

先确定一个问题:云计算这么火热,企业存储仍需要单独考虑吗?

2020年是云计算当道的时代,现在谈存储,out了吗?

一直以来,存储都是数据中心架构中最为独特的一部分,几十年前,EMC与业内众多领先的IT厂商树立了产业格局,EMC的存储,思科的网络,IBM的服务器,Oracle的数据库,英特尔的处理器以及微软的操作系统,至今,大致上仍是企业IT的基本格局,云计算的出现对这一模式带来了一些新变化,不过,就目前看来,存储仍是最为独特的一部分。

因为,当初将存储作为独立的一部分拿出来,本身就是很大的进步。从技术上看,存储可以不依赖于服务器而存在,可以自由升级和扩展,可以有各种丰富的特性。从业务需求上看,当企业对数据的重视程度越来越高,作为数据载体的数据存储系统自然也显得更重要,企业的创新始终离不开数据,也就离不开存储架构的支持。

企业数据存储有其特殊性,当被问到企业是否仍将存储视为采购决策中独立的一部分时,戴尔科技集团大中华区售前系统工程部总经理杨捷表示,绝大多数的客户仍会独立地去看存储这件事,但也有一些新变化,包括对于衡量指标以及购买模式的变化。

为了应对新变化和新需求,戴尔科技集团存储家族也变得非常多样化,除了做传统存储,也做软件定义存储,也有超融合,也有对象存储等等,这其中,有些是从传统企业存储一步步演变而来的,有的是从互联网技术实践中学来的,企业存储架构空前复杂。

针对这种复杂性,戴尔科技集团不断提出应对的解决方案。虽然将存储单独考虑不变,但对数据存储系统的用法和评判标准毕竟是变了。

最全存储能力参考指南:戴尔存储产品线

本来戴尔和EMC都是Top级的存储厂商,不仅两者在市场上有一些融合,EMC自己在过去十多年中进行了多次收购,产品种类非常多,EMC自身也存在重合现象,而这些问题全留给了现在的戴尔科技集团,整合后,有一些产品的名字消失了。

我们看看现在的存储产品能力:

首先,看结构化存储能力,也就是传统存储阵列的范畴。高端存储是PowerMax(原来的VMAX),入门级存储还是原来戴尔的PowerVault,中端存储的产品线是合并的重点。

据资料显示,中高端存储PowerStore是原来EMC的中端Unity和戴尔中端Compllent的融合体。PowerStore是今年五月份最新推出的,它的特点是以中端价位给你一个高端的产品体验,非常有特色的功能就是AppsOn,能在存储阵列上运行一些应用。

其次,看文件存储的能力,现在主要是指PowerScale非结构化存储,其实就是鼎鼎大名的EMC NAS存储Isilon,PowerScale目前是全闪的,与高端的结构化存储PowerMax一样都是全闪的,是一款分布式文件存储。

最后,在对象存储的方面,现在主要是说的就是分布式对象存储方案ECS,对象存储主要是面向归档的场景,也用在一些在线服务的场景上。

从技术类别来看,冠以高端之名的PowerMax,中端PowerStore和入门级的PowerVault的都是传统存储从范畴,新趋势是软件定义存储,采用标准化x86硬件,灵活可横向扩展,成本也相对可控。其实,刚才提到的PowerScale和ECS都是软件定义存储。

作为软件定义存储一个延伸的,非常适用于分支机构的方案还有超融合,戴尔的超融合有两套方案,一个是基于VMware vSAN的VxRail,另外一个是基于ScaleIO的PowerFlex,两者最主要的区别是,前者只支持VMware那套东西,对VMware生态更友好,后者不仅限于VMware,更开放一些。

数据保护方面,主要说的就是PowerProtect,PowerProtect将原来鼎鼎大名的DataDomain合并其中,重删压缩能力比较强,数据保护是非常特别的一部分,也是戴尔总结的第五代存储中的一部分。

这么一看,还挺清晰的。

第五代存储的五个特征,就是当代存储选购指南

从2019年开始,戴尔开始介绍第五代存储,包括知乎上也有许多对于第五代存储的讨论,而在我看来,第五代存储是存储选购标准和选购指南,具体点说,可能更多是照应戴尔的传统存储,也就是针对Power系产品而说的。

第五代存储包括五个特征:敏捷高效,有效容量,无缝接云,数据护航,AI赋能。

敏捷高效指的就是用了闪存以及SCM介质,当然,系统架构本身要面向新介质优化,协议要用NVMe的,而不只是在原来的存储架构上换个介质而已,这点在选购的时候一定要注意。另外,戴尔此次更新的Power系产品中,全都是闪存配置的,而且是没有混闪的配置,混闪作为过渡性配置的使命似乎已经完成了,忽略混闪吧,要上就该上全闪存了。

有效容量指的是用各种数据精简技术,来减少实际所需的存储容量,减少包括机房空间、电力等成本,这点是戴尔高层包括戴尔科技集团大中华区数据中心销售总经理孔大勇也反复强调的一点,可能是因为在2020年的经济形势下,有效容量的现实意义更强。当然,根本上还是戴尔在数据精简方面的技术储备上更有信心,1:4的压缩比,不够的话,包赔!

其实,类似达不到压缩比就赔够容量的操作业内也有,具体在选择的时候要注意选定的场景。

第三点是无缝接云,许多企业不可避免地用了云,如果存储不能与云对接,无异于认为制造了架构上的割裂。戴尔存储能接云,杨捷介绍说,PowerStore是一个可编程的存储,它可以对接云管平台,比如对接VMware的云管平台或者Kubernetes,对接Ansible,可以自动化地做调配配置。简单说,就是不应该只是本地存储了,要能对接别的资源平台的能力。

数据护航说的是数据保护,没有数据保护的存储是不完整的,在戴尔看来,所有数据都可以被保护,但越是重要的数据越有高级的保护方式,最高级的有一个叫Cyber Recovery的方案,是避风港计划认证的第一个也是唯一一个方案,所谓避风港计划是美国民间银行提出的,希望避免灾难事件造成数据恢复,希望维持公众对于美国金融体系信任,是给予厚望的一个方式。

当然,数据保护要保护的是绝对丢不得的数据,对于部分特别金贵的数据,有时候花几倍于存储系统的钱,也不是新鲜事儿,关键看数据值不值钱。

AI赋能的话,其实2020年说起来已经并不新鲜了,几年前就有企业在说这点,将存储系统的运行状况上传,判定问题后可以智能化预测故障然后解决故障,让存储变得更智能,而戴尔的做法是在设备内部内嵌机器学习引擎,减少数据上传,可能是为了避免用户对于敏感数据的担忧。

据杨捷介绍说,新的Power家族系列都会具备这样的能力,可见戴尔对于智能存储这一趋势是非常认可的,作为风向标,可能这种智能存储会越来越多,未来可能就是标配。从技术上来看,现在的AI技术对于存储的运维是可以非常有帮助的。

存储买贵了吗?

看指标存储都差不多,看技术文档也轻易看不出来区别,但有的存储就是贵,比如有人说,戴尔的存储还是贵,但戴尔更想说的是,如果能从数据中挖掘出价值,存储的成本可以忽略不计。

杨捷表示,过去十年来,跟用户聊存储,永远不是只谈存储,而是会结合用户行业应用来谈,以客户的需求为前提。用户要求数据能在业务上体现出更大价值后,才会有相应投入,如果用户在一段时间内看不到或者实现不了价值,就没有业务上的投入。

孔大勇表示,现在之所以觉得贵因为数据存储而不产生价值,如果能够产生价值那点钱根本不是钱。企业需要的是真正既懂业务又懂IT的人,只有那些嗅觉极其敏感的人,对原有的工作模式进行重新思考,利用新技术让让数据用起来,才能为企业带来新的竞争力。

比如,戴尔与贵州险峰机床厂合作搭建了一套全新的数字化智能制造平台,应用以后险峰的使品质不良率降低约6%,减少了不良品的输出,生产的周期缩短20%,原材料库存减少约10%,库存周转率提升约30%,这种背景之下,存储系统的成本就不那么重要了。

第五代存储的五个特征其实是存储价值的衡量标尺,意在凸显在这五个方面做的好的话所能体现的价值,也就是说,根据现有的客户评判标准,有些价值得不到体现。孔大勇介绍说,比如,说PowerStore基于AI的内部故障诊断功能比较强,提升管理员的工作效率,这些在标书里看不见,只有用了才知道。

作为存储厂商,服务价值体现在方方面面,而不只是产品本身,比如技术服务支持。孔大勇还提到,戴尔的客户支持都是直接由工程师负责接听,在线进行诊断,如果不能在线解决,工程师会直接带着问题,带着备件走到用户面前提供服务,而一些友商都只是接线员负责接听记录然后反馈,处理效率相差很大。

品牌怎么选?本土企业还是外资本土企业

提起阿里和腾讯,下意识都觉得这是中国成长起来的中国公司,很多人都用阿里的淘宝、阿里云服务,用腾讯的微信、玩腾讯的游戏,但用一位大佬的话说,本质上,戴尔与阿里和腾讯一样,都是外资本土企业,可能最大的区别是戴尔的名字是个外国人的名字吧。

在公司策略方面,戴尔也越来越像是一家中国的企业。孔大勇表示,戴尔是跟政府的大政方针跟的最紧的公司之一,在西部大开发,“一带一路”,出口导向政策方面,戴尔都是踊跃的支持者,此次选择在进博会期间召开存储用户峰会也是戴尔响应政策的表现。

当部分企业开始将产线迁出中国时,戴尔将更多的产能放到了中国,特别是合并EMC之后,把许多存储产线都放到了中国,大幅缩短了交付周期。在产品研发设计环节,中国团队参与程度也非常高,VxRail超融合全是中国团队开发的,PowerStore的核心部分也是中国团队完成的。服务方面,戴尔中国有全球最大的客服中心之一,服务辐射包括中国、日本、韩国等地区。

戴尔定位自己是一个本土企业,黄博士从加入戴尔以来,提出“在中国,为中国”的战略,全方位的跟中国的企业、政府合作,孔大勇表示,过去的一年,无论是中国政府还是企业,对戴尔公司是非常支持的,戴尔有很多非常忠实的老用户,一直在使用戴尔产品,过去几个季度以来,戴尔的业务一直处于稳定恢复的态势。

销售渠道体系,渠道也在越来越强化,跟渠道有越来越多的合作、互动,来培植渠道共赢。从体系上,我们都在全面本地化,能带动上下游100万个就业机会。我们实际上是以全球的标准,本地化的运作在运营这家公司,我们自己感觉很受益,与中国从经济上来讲是双赢的局面。

台积电被施压:15%-30%业务搬离中国大陆

张 妮娜

10月11日,据外媒最新报道,多家苹果供应商曝出,苹果持续对其施压,要求它们将15%至30%的生产业务搬出中国大陆。被施压的供应商包括台积电、富士康、纬创以及和硕等

据了解,主要的转移地点是越南、泰国、印度等东南亚国家。

目前美国科技公司将部分生产业务转移到越南、泰国、马来西亚和印度等国。和硕等苹果供应商始终在寻求投资于越南的供应计划,该公司可能会在越南生产新的苹果耳机 AirPods。

苹果的施压,对于科技行业来说,这标志着一个时代的结束:即在西方设计产品,然后在中国大陆工业中心制造。30 年来,这种模式提供了成本、质量、人力资源和基础设施的最佳组合。现在,整个行业则越来越依赖于东南亚出现的分散供应链。

一家苹果供应商高管表示:“客户的心态已经改变,日益紧张的局势迫使他们考虑自己的生产战略,就像购买保险一样。未来两三年,你将看到不仅是大型电子装配商,还有越来越多的零部件供应商将生产业务转移到中国大陆以外,以支持新的供应链。”

但对于科技公司来说,情况并不那么简单,对它们来说,中国大陆不仅是一个成熟的生产基地,也是它们增长最快的市场。苹果总营收的 20%、英特尔营收的 20% 以上、高通销售额的 60% 都来自中国大陆。尽管在很多情况下,在中国大陆销售的产品后来会再出口到其他市场。

对于全球科技行业来说,问题是替代供应链能否与中国大陆每年生产超过 2 亿部 iPhone 的供应链相媲美。为此,苹果采取了一种“双面战略”:在推动供应商生产业务加快离开中国大陆的同时,也在积极培育中国本土供应商,让它们在中国发挥更重要的作用,确保持续进入 14 亿用户强大市场的能力。

不过,并不是每家公司都有资源像苹果和富士康那样不断向中国之外扩张。现实情况是,芯片开发商仍然依赖少数几家关键的美国芯片制造生产和设计工具提供商,如应用材料、LAM、KLA、Synopsys 和 Cadence Design Systems 等公司,以尽可能地制造最先进的芯片。

时速云:微服务发展看Service Mesh,Service Mesh发展看落地经验

朱 朋博

前言:当前,微服务改造正在许多企业当中如火如荼地进行,然而,微服务改造带来许多新问题成了进一步发展的障碍,在这一背景下,Service Mesh应运而生,Service Mesh将是微服务进一步发展的关键。从实际出发,时速云基于自研技术克服了Service Mesh落地中的各种障碍,这个过程中我们也感悟到,业务微服务架构的进一步发展,技术的先进性是持续演进的方向,而如何更好的结合企业实际场景才是推进服务网格落地的关键。

2013年,有一个叫Docker的容器技术突然火了起来,2015年前后,在大众创业、万众创新的号召下,企业服务市场涌现出了多家容器创业公司。而今,这些基于容器的创业公司,有的已经消失,有的慢慢的一步步走来,可能没人能预想到容器生态是今天这般繁荣景象,但至少2015年的一些未知现在已经有了确定答案。

基于容器技术的微服务大行其道

首先,容器技术确实如人们想象中的那样有突破性,就如当时所说的,是继传统虚拟化之后的又一大创新技术。传统虚拟化和容器确实有一定的替代关系,越来越多的容器化应用采用直接部署在裸机服务器而不是传统虚拟化架构之上。

更重要的是,企业验证了容器技术的可用性和稳定性,有动力也有决心对应用做微服务化改造。

2020年,时速云技术总监张寿红在谈到技术与应用发展时表示,如今基于容器技术的PaaS平台已经非常成熟,企业已经基本无障碍地快速部署上PaaS平台,许多企业正在使用容器应用,并且正在对现有应用做微服务化改造。

企业之所以热衷于构建微服务架构,主要是因为,没有微服务架构之前的单体应用时代,应用的每次变更都非常困难,可谓是牵一发动全身。而微服务架构能为每一个微服务独立开发、部署、升级,进行弹性伸缩,它会使得应用的升级在局部完成迭代更新,不会对整体应用造成影响。这就是微服务的魅力所在。

微服务的出现也带来了许多新的问题,Service Mesh正是为了解决它带来的新问题而生的,Service Mesh是企业落地微服务架构的关键,有了Service Mesh,企业才能放心大胆地用上微服务,可以说,Service Mesh是摆在所有容器创业公司面前的,继企业PaaS平台之后的第二大考题。

微服务带来的新问题

微服务改造就是将原来一个个单体应用拆分为若干个微服务,优势很明显,带来的问题也非常显而易见。

从管理的角度看。当微服务数量特别多的时候,架构会变得非常复杂,更重要的是,当一个微服务出现问题可能会影响到许多其它微服务。随之而来的是,如此复杂的架构下,故障排查从何做起?如何快速定位故障点呢?

从安全的角度看,当微服务从单体应用拆分之后,原来在一个进程里的调用至少会分散到两个进程里去,在一个进程里的调用没有安全问题,但拆开后的调用可能会跨网络、跨系统甚至跨数据中心来调用,带来很大的安全隐患。

Service Mesh本质上是一张负责微服务之间通信的网络,它是服务间的一个通讯层,它本身不与应用代码耦合,而且还能捕获到底层环境的动态变化并作出调整。Service Mesh无需程序员关注它,让程序员只需要关注自身业务代码就行了,这就是Service Mesh存在的意义。

从本质上来说,没有Service Mesh的话,微服务也能正常工作,此前的微服务框架间的通讯采用SDK的方案,这一方案有较大侵入性,说白了,就是需要写应用程序代码的程序员关注到它,与Service Mesh相比,高下立判。

微服务框架的技术流派

早期,业内主流的Service Mesh方案是用Linkerd来实现的,但Linkerd只有数据面的能力,而后,Istio出现后提出了控制平面的概念,为的是让服务治理的策略配置进行统一控制,这一思想奠定了Service Mesh的架构基础,也就是控制平面和数据平面两部分。

Istio不仅架构先进,而且背后还有IBM以及谷歌这样的业内巨头的大力支持,于是很快就成了业内标准,几年前,在谷歌的力推下Kubernetes(K8s)不久便一统江湖了,巨头的技术影响力可见一斑。

严格来说,Istio实现的是控制平面,但缺少数据平面,后来,Istio默认的数据面是使用Envoy来做的。本以为Istio和Envoy的组合将是大多数选择,但张寿红表示,时速云在控制平面用的是Istio,而数据平面用的是自研的一套方案。

这样选择是有原因的,在张寿红看来,虽然Envoy在稳定性和性能方面表现还不错,但它最大的问题是在于维护成本高,考虑到在企业落地微服务架构时经常需要做许多定制化的开发,所以,直接拿Envoy来用是不行的,需要在Envoy基础上做许多开发。

但问题是,Envoy是用C++开发的,而云原生领域绝对主流的开发语言是Go语言,考虑到维护成本的问题,时速云最后选择了自研之路。其实,Go语言工程师的成本也很高,但当绝大多数都是由Go语言来完成,而少部分由C++语言来完成的话,确实比较别扭。

Service Mesh落地难的问题

Service Mesh是一个说起来比较美好,但并不容易落地的技术方案,目前来看,国内在生产环境中Service Mesh的落地案例一直非常少,在张寿红看来,主要原因在于由国际巨头主导的技术方案在中国企业落地时出现了水土不服,国内企业使用的通信协议以及服务的部署形态与国际其他地区有所不同,需要部署落地时候有针对性地加入一些功能。

常见的尴尬是,许多企业在针对Service Mesh做技术验证时,系统运行的很顺畅,但真到落地的时候,则会发现困难重重,这些问题导致Service Mesh在国内落地困难的尴尬,如何化解这些尴尬呢?

时速云作为国内Service Mesh落地方案经验颇多的一家,指出了三点。

首先是要增强方案的易用性,张寿红介绍说,增强易用性是大势所趋,Istio也意识到了易用性的重要性,最近更新的Istio新版本也着重增强了易用性。而在未来,则是会考虑做一些自动化运维的能力,以此强化易用性。

其次是针对特定场景的能力,现有架构,比如Istio主要是针对容器化部署场景开发的,但实际上企业里有容器化应用,同时也有许多在虚拟机环境,这需要Service Mesh方案能具备治理异构部署微服务的能力,企业内部环境其实非常复杂,这要求有较高的适用性。

第三点是优化性能,由于Service Mesh需要用到一层代理,不可避免的会造成性能损耗,用户对于Service Mesh的性能有顾虑也是一大阻碍因素,用户不希望性能损耗影响业务。张寿红表示,性能优化也只能一步一步来,通过数据平面和控制平面下手。

时速云在方案上着眼于三个要注意的点,在实际落地中,更多靠自研能力将Service Mesh方案集成到用户现有的架构中,对接用户原有的日志、监控等各种系统,这对于定制化开发的能力要求很高。

技术已不是竞争壁垒,落地经验才是

在谈到友商的竞争差异时,张寿红表示,从根本上来讲,同类厂商在技术上的差异性很小,主要差异体现在实际落地的案例和经验上,而时速云是目前国内少数有一些落地经验的一家。

从张寿红的介绍中了解到,金融行业用户在容器方面的探索走的比较靠前,金融行业用户正在将大量的负载从虚拟化平台迁移到容器平台上,这为基于Service Mesh的微服务架构落地打下了很好的基础。

以某大型综合型保险集团为例,先是采用了时速云的PaaS平台,而在今年,该集团上线了新平台,在内部构件了技术中台,背后的支撑架构就是时速云的Service Mesh, 据了解,该集团项目目前在生产环境上线了大约几千个微服务。

性能是保险客户非常看重的方面之一,在上线到生产环境前,时速云的Service Mesh经过了严格的性能和稳定性测试,以几万级别的负载量测试,最后只实际部署几千个微服务,足见金融用户的谨慎,但也恰好反映出用户对于Service Mesh本身的认可。

像该集团案例这样,先上容器云PaaS平台,而后在此基础上上线Service Mesh是比较常见的实施路径。事实上,容器云PaaS平台是微服务架构的基础,目前业内的容器云PaaS平台本身各方面已经非常的成熟,而且,企业也非常认可容器云PaaS平台的实际作用,也都会将其视为容器化改造的第一步。

尽管有了容器云PaaS平台的基础,但仍要Service Mesh解决许多对接原有系统的需求,好在时速云采用了自研的策略,在面对有许多历史负担用户时,能处理各种复杂的、非业内标准的协议,满足大型企业的需求。而那些复用开源社区Istio + Envoy的方案则更适合没有历史负担的中小企业用户。

结语

如今的容器云PaaS已经是送分题,而Service Mesh才是拉分题,而Service Mesh最核心的竞争力就是经过实际验证,具备生产环境上线的能力。Service Mesh关系重大,业务上的所有调用都要经过Service Mesh,所以,在上线前,必须要经过长期的测试验证,时速云与友商最大的不同在于此,而现在,时速云已经度过了这一阶段。

IDC最新数据:浪潮存储跃居中国第二 增速中国第一

张 妮娜

日前,IDC公布了2020年第二季度中国企业级存储市场跟踪报告。报告显示,二季度中国存储市场整体出货量5.5万台,同比增长29%。浪潮存储持续高速增长,出货量6,207台,跃居中国市场前二,同比增长162%,以高于业界平均增速近6倍的速度遥遥领跑。

新技术谱写新格局  二季度存储市场迅速反弹

5G商用不到一年,中国5G用户已突破1亿,运营商需要存储和处理的数据量提升数倍~数十倍;银行业在金融科技推动下,当前一年处理的电子支付业务超2000亿笔,海量用户的高并发访问需要数据存储系统的支撑;视频从标清走向超高清,8K视频带来了高于人眼4倍的超清视觉效果,也带来了每帧3300万像素、每小时12TB的海量图像数据。

上述情形在各行各业都有上演,数字技术在疫情期间发挥了巨大价值,新兴业务的高速发展增强了政府和企业用户加速推进数字化转型的意愿,为存储发展带来了积极影响,受此影响二季度中国存储市场迅速反弹,销售额、出货量较去年同期大幅增长20%和29%。其中浪潮存储二季度销售额和出货量分别同比增长61%和162%,增速远高于业界平均水平。浪潮存储在中国移动大云5.0、中国电信5G新基建、某国有银行全国最大私有云、全球最大射电望远镜天文大数据分析、国家气象大数据研究等超级工程中皆得到广泛应用。

浪潮存储

分布式存储和闪存存储成为市场增长的主要驱动力

新技术、新应用的高速发展,引发了企业对更弹性、更高效的IT技术架构部署需求,分布式、闪存存储成为推动存储市场发展的驱动力,二季度中国全闪存储增长超20%,前五大本地厂商出货产品中有约三成是分布式存储产品。浪潮存储在新兴市场表现强劲,二季度浪潮分布式存储和闪存存储出货量增速均超300%,远超业界平均水平。

浪潮存储的高速增长源于新数据存储战略的前瞻布局,在闪存存储和分布式存储领域以极致能力为核心实现了创新与引领。其中在极致性能方面,浪潮存储推出中国首个搭载傲腾双端口NVMe SSD的全闪存储,并基于NVMe架构、全闪I/O栈和iTurbo智能引擎技术,实现存储性能业界领先,在SPC-1测试中以752万和330万IOPS刷新了16控和8控存储性能世界记录;在极简架构方面,浪潮存储可提供业界唯一的“多合一”架构,以一套存储支持块、文件、对象、大数据等多种数据服务,满足超大规模数据中心的海量数据存储需求。

未来随着新基建商用落地,5G、AI、大数据等新技术与实体经济融合将加速融合,全闪存存储以及分布式存储将持续高速发展,推动企业级存储市场的规模在2024年增长至62亿美元。浪潮存储将在分布式和闪存存储领域加大投入与创新,以“云存智用 运筹新数据”驱动行业数字化转型。

为了让你用上海量存储,希捷开源了一套对象存储——CORTX

朱 朋博

2020年9月25日凌晨,希捷开源了一个叫做CORTX的对象存储软件项目,CORTX项目100%开源,兼容标准的S3接口,目前已经可以在github上获取到源码,同时,还提供了预配置的虚拟机镜像直接安装快速体验,如果有什么问题,也可以在新建立的CORTX开源开发者社区里进行交流。

CORTX是希捷完全从头开始设计和实现的对象存储方案,它直接将数据存到块设备中,而不经过本地文件系统层,它还有许多高级特性,比如使用流式b-trees来访问系统和用户元数据等小块数据,以此提升性能。

CORTX作为面向非结构化数据存储的大容量分布式对象存储方案,其扩展性是重点,单一namespace下可以从几PB起步扩展到EB级别。

与此同时,为了方便在生产环境用起来,CORTX还发布了参考架构Lyve Drive Rack(LDR)方案,LDR是一个融合系统,它采用AA高可用架构设计,数据保护方面还支持ADATA技术,单节点支持放置84或者106块磁盘,支持16、18TB CMR磁盘,容量大约1.3PB起步。

LDR目前在磁盘柜级别提供了数据持久性,如上图所示,这种等级制(Hierarchical)的擦除编码技术能加快磁盘的故障恢复速度,特别是在用大容量磁盘时候更有效。

想要自行搭建CORTX系统的用户最好使用有高可靠设计的存储硬件,因为,CORTX软件中的擦除编码技术目前还是预览状态,想要使用该技术的话还得等等。

对希捷来说,CORTX可以更好地利用大容量磁盘,CORTX开源方案中加入了希捷对于大容量硬盘做的许多独有优化,官方的优化能发挥硬盘本身的特性和优势。

从战略上来讲,对于希捷的主营业务有直接利好,希捷也宣布将于12月发布20TB HAMR磁盘,预计在2026年,能把HAMR盘做到50TB。从目前资料来看,希捷表示目前主要支持CMR,以及新的HAMR盘,没有提及SMR,不过,后续可能会基于CORTX对SMR做一些优化。

基于大容量磁盘的CORTX可以提供超高的存储密度,减少地板资源占用,节省宝贵的机房空间,所以,对最终用户来说,CORTX可以实实在在帮助用户降低成本,至少软件是免费的。还有希捷硬盘原厂技术服务撑腰,可能会比别的开源方案用的更放心一些。

市场需要这样一个新的对象存储方案吗?

由于CORTX是100%开源的,所以,天生就比较容易被接受。CORTX由希捷来开源的好处是,可以快速构建生态,在CORTX社区里,汇集了大量最终用户、OEM以及许多开发者。

英特尔表示可以基于傲腾持久内存、QAT技术、以及DAOS文件系统与之合作。著名HPC并行文件系统厂商WekaIO肯定了CORTX对于在存储的高性能和存储的经济方面的价值。

而且,CORTX是一款不依赖特定硬件架构的开源对象存储软件,只要是支持标准块存储接口的设备都可以用,言外之意是别的品牌的磁盘也能用。对用户来说,没有厂商锁定的风险,对于合作伙伴来说,参考解决方案的打造可以丰富其产品类型。

CORTX是一个非结构化数据存储方案,其应用场景包括人工智能、机器学习、混合云、边缘计算、高性能计算等。目前,已有多家科研机构测试或者实际使用了CORTX,包括法国替代能源和原子能机构、英国原子能管理局、洛斯阿拉莫斯国家实验室。

还有硬件合作伙伴正在测试软硬一体的打包解决方案。首批参考架构将于2020年Q4正式对外可用,商用版本的一体机方案可以从合作伙伴处获取,从而为LDR提供企业级支持。

希捷为什么要开源这样一个项目呢?

如今互联网技术发展越来越多地影响着企业IT,希捷的CORTX主要面向的是企业级用户,CORTX开源的、没有厂商绑定的思路与超大规模数据中心的做法如出一辙,让企业也享受到互联网公司技术的优势,比如互联网公司能比企业更快用上大容量磁盘。

希捷分析后给出了一个有趣的数字,现在的企业级存储比较贵,用户在企业级存储上投入的资金中只有25%是花在磁盘本身的,换言之,就是用户付出的额外成本太高了,降低成本的方式有很多,比如开源一个CORTX。

其实,在几年前,西数也有过类似的解决方案,它的意义在于提升产品方案的附加值,不只是售卖磁盘而已。相比之下,希捷的此次做法就高明很多,开源方案更容易让人接受,开源的CORTX避免了与合作伙伴的直接竞争。

希捷与对象存储其实颇有渊源。

1999年,希捷提交了“基于对象的存储设备命令集建议”的初步版本,包括卡内基梅隆大学、IBM、Quantum和StorageTek对该建议都有贡献,这份建议中将对象定义为一种抽象数据,它具有唯一的标识符和元数据,定义了对象如何与文件系统的关系,以及许多其他创新概念。

希捷也从来不满足于只做硬盘。值得一提的是,LYVE Drive是希捷一大类存储产品的品牌,LYVE Drive Mobile从SD卡、到读卡器、到硬盘盒、存储阵列都有,侧重于移动性,能让数据从边缘传到数据中心,LYVE Drive Shuttle则算一个独立的系统,有计算存储和网络能力,而LYVE Drive Rack作为新的存储系统参考架构,进一步丰富了该产品线。

今天,整点煽情的……

张 妮娜

“教师节快乐!”

是每年9月10日雷打不动的祝福

感谢学校里

引领我们走向知识殿堂的老师

也感谢人生道路上

为我们指点迷津的恩师

师恩不忘,此意绵长

在这里重返课堂
切磋交流,学无止境
与数字化列车一起奔跑🚄

#活动角#

由百易传媒(DOIT)主办的2020中国数据与存储峰会(DSS)将于11月18-19日在北京举行。本次大会以“新数智,新未来”为主题,12大研讨方向覆盖数据智能上中下游,院士专家及一众行业代表同台诠释存储发展方向,为广大行业人士奉献一场精彩绝伦的数字化盛宴。点击这里,了解更多活动信息