中国数据存储服务平台

如何通过Openshift实现K8S容灾?

张 妮娜

越来越多的K8S应用采用RedHat OpenShift进行部署,IT团队需要部署容灾功能,来防范系统崩溃导致业务受损。一部分行业通常有较强的监管要求,在出现大规模错误的时候必须有数据保护。例如HIPAA 监管要求中的CFR 164.308(7)(ii)(B),要求公司必须能够在出现系统错误的时候“恢复所有数据”。这种情况下对于Openshift上的关键应用来说,容灾是必须的。本文讲解了用户如何使用OpenShift和Portworx来实现零RPO的容灾。Portworx是Redhad容器目录认证的厂商,在OperaterHub上也有经过认证的Operator。能够为Red Hat客户提供完整的OpenShift体验。在我们进入如何在OpenShift上达到零RPO容灾之前,让我们首先来分析一下,传统的容灾方案为什么不适用于K8S。传统的备份和恢复方案是在虚拟机(VM)层面来实现的。如果一个单一应用运行在单一虚拟机上,这种方案很合适。因为备份虚拟机和备份应用一样的。而运行在OpenShift上的容器化应用,却很不一样。一个虚拟机通常可以运行多个Pods,但不是所有的这些Pods都是为一个应用服务的。同样,一个应用也可能跨越多个虚拟机。容器化应用的通常架构模式中应用是分布在一组服务器集群上的。所以仅仅备份虚拟机就不合适了。要么过多备份了无用的内容,要么没有备份关键的应用数据。例如我想备份应用A,备份虚拟机的过程中,也会备份包括应用B和应用C的数据,这就会导致过多的备份。如果我备份了整个VM,而应用A运行在其他VM上的部分就没有被有效的备份,这就导致没有备份关键的应用数据。

为了解决这个问题,Openshift上的容灾需要的解决方案应是:

  • 容器颗粒度的
  • Kubernetes命名空间可感知的
  • 应用一致的
  • 能够备份数据和应用配置
  • 能够为数据中心提供同步和异步备份的不同方式

Portworx企业版数据平台的PX-DR就是按照以上的原则设计的。容器颗粒度的Openshift容灾PX-DR是一个容器颗粒度的DR方案。它不是去备份VM或者物理机上的所有数据,而是备份运行在主机上的特定的Pod,或者备份一组Pod。在下面的图中,我们看到一个3节点的OpenShift集群、一个三节点的Cassandra环,和三个单独节点的PostgreSQL数据库。

通过PX-DR我们可以去备份我们想要备份的特定Pods。例如,我们想备份3节点的Cassandra环,或者想备份一个单独的PostgreSQL数据库。通过提供容器颗粒度的备份,我们避免了在备份所有VM过程中复杂的数据提取,转化和加载(ETL)过程。通过仅仅备份单独的应用,我们可以大量节省存储成本,以及保持很低的RTO。

对整个Kubernetes命名空间的容灾具备容器颗粒度的备份代表我们也可以对整个命名空间进行备份。Kubernetes上的命名空间,通常可以运行有关联的一组应用。例如,某企业的一个命名空间代表了该企业的一个分支机构的所有应用。通常在备份命名空间的时候,我们会备份整个命名空间,而不是仅备份命名空间里的某一个应用。传统的备份方案是无法对命名空间进行备份的,因为命名空间是跨VM边界的。PX-DR,可以备份整个命名空间,不论与这个命名空间关联的Pods在哪里。对 OpenShift备份过程中保持应用的一致性PX-DR可以保持应用的一致性。如上面的例子,3个Cassandr pods是一个分布式系统。通过对它们进行快照的过程中,如果需要支持应用在无数据损失的情况下恢复,就需要在快照过程中保持所有的Pods被锁定。对VM进行快照无法锁定所有Pods。而进行系列快照也不能达到。Portworx提供了Kubernetes组快照规则引擎,允许Operators自动的执行前置和后置快照命令。例如对Cassandra,我们必须运行nodetool flush命令来达到对多个Cassandra容器快照过程中保持应用的一致性。

apiVersion: stork.libopenstorage.org/v1alpha1
kind: Rule
metadata:
name: cassandra-presnap-rule
spec:
– podSelector:
app: cassandra
actions:
– type: command
value: nodetool flush

为Openshift应用备份数据和应用配置我们已经叙述了容器颗粒度备份、命名空间感知、应用一致性备份的重要性。现在我们来看一下为什么OpenShift的DR要求能够备份数据和应用配置。在OpenShift上备份和恢复一个应用需要两件事情:数据、和应用配置。如果我们仅仅备份数据,恢复应用的时间会非常长,因为我们需要重建应用配置,会增加RTO。如果我们仅仅备份应用的配置 – 所有的Yaml文件(定义了应用的部署、服务账户、PVCs等),但我们却没有应用数据。因此我们需要同时备份应用数据和应用配置。PX-DR可以通过一个OpenShift命令备份应用数据和应用配置。恢复OpenShift应用的时候使用 `oc -f apply myapp.yml` 命令,因为恢复应用的过程与最初部署应用过程是一样的。

对Openshift的同步或异步DR针对我们的目标和数据中心的不同架构,我们可以选择正确的OpenShift容灾策略。我们可以选择同步或者异步的备份模式。在一些情况下,也可以同时选取同步和异步备份,因为同步和异步提供了不同层级的系统保护。 

例如,一个银行有本地部署的数据中心,并且通过专线连接到了一个AWS数据中心,可能会需要为一个重要商业应用选择零RPO的DR策略,同时要求RTO<1分钟。在这种情况下,我们倾向于推荐同步备份的PX-DR,由于两个环境的延时极低,因此可以提供零数据损失的恢复。

另一个例子,如果一个制造业的公司在较远的两地有两个数据中心,应用要求较低的RTO,但按每小时的备份频率对于RPO的目标来说已经足够了,在这种情况下,异步备份的PX-DR,使用连续增量式的备份就已经足够。

下面是不同情况下OpenShift DR策略的选择

较远网络的OpenShift容灾策略(两个站点之间的往返延迟 >10毫秒的情况)

近距离网络的OpenShift的容灾策略(两个站点之间的往返延迟 < 10毫秒的情况)

如何在OpenShift上通过PX-DR实现零RPO的DRPX-DR支持在OpenShift上的同步和异步容灾,下面我们来关注下零RPO的同步容灾。我们先看一下通过Portworx和OpenShift同步容灾的相关概念和配置,包括初始setup和模拟出一个系统错误。一个单独的Portworx数据管理层横跨多个站点,如上图所示,同步PX-DR使用位于多个OpenShift集群下的、一个单独的Portworx数据管理层。这会在每一个OpenShift站点上提供永远可用的数据复制。一个单独的数据管理层意味着:有两个Portworx集群域,其中总有一个Portworx集群是可用的。

通过集群域,Portworx数据管理层来区分主站点和容灾站点。集群域在Portworx集群被安装的时候就会配置完成。在每一个OpenShift集群上(主集群或DR集群)配置Portworx来包括同一个Key-value的存储端点和集群名称,但使用不同的集群域来区分主站点和DR站点,看下面的例子。

Primary DR Site args: [“-k”, “etcd:http://etcd:2379”, “-c”, “px-cluster-synchronous”, “-s”, “type=gp2,size=250”, “-secret_type”, “k8s”, “-cluster_domain”, “primary” “-x”, “kubernetes”] “` args: [“-k”, “etcd:http://etcd:2379”, “-c”, “px-cluster-synchronous”, “-s”, “type=gp2,size=250”, “-secret_type”, “k8s”, “-cluster_domain”, “dr-site” “-x”, “kubernetes”]

低延时要求同步PX-DR需要很低的延时。因为每一个写入操作都会被同步的复制到容灾站点上,如果延时较高,应用的性能就会受到很大影响。这也是为什么在这样的架构中,卷必须设定复制因子在2以上。到DR站点的往返延迟不能够超过10毫秒,甚至有一些应用要求的延时比10毫秒还要低。当设计应用时,同时需要思考DR的架构和延时的要求。可以在两个站点间使用Ping来测试延时。测试延时可以返回最小、最大和平均延时以及分布。

$ ping ip-10-0-131-167 PING (10.0.131.167) 56(84) bytes of data. 64 bytes from (10.0.131.167): icmp_seq=1 ttl=255 time=0.019 ms 64 bytes from (10.0.131.167): icmp_seq=2 ttl=255 time=0.028 ms 64 bytes from (10.0.131.167): icmp_seq=3 ttl=255 time=0.035 ms 64 bytes from (10.0.131.167): icmp_seq=4 ttl=255 time=0.029 ms 64 bytes from (10.0.131.167): icmp_seq=5 ttl=255 time=0.028 ms ^C — ip-10-0-131-167.us-west-2.compute.internal ping statistics — 5 packets transmitted, 5 received, 0% packet loss, time 4080ms rtt min/avg/max/mdev = 0.019/0.027/0.035/0.008 ms

Setup Openshift集群配对

一旦完成两个站点都在运行Portworx,在正确的集群域设定基础上,它们就可以正常的来Sync了。我们可以通过Portworx命令 “` $ pxctl cluster domains show “` 来进行验证。验证完成后,并且两个集群域都是正常的情况下,就可以创建集群配对对象。这样两个站点就可以共享一个OpenShift应用YAML文件。这些YAML文件代表了应用的配置,对于在出问题时保证低RTO有着重要的作用。首先为目标命名空间产生集群配对,然后把YAML文件应用到主站点上。

$ storkctl generate clusterpair -n appns dr-site > dr-site.yaml
$ oc create -f dr-site.yaml

可以通过下面的命令来验证集群配对。

$ storkctl get clusterdomainsstatus

创建一个调度和迁移

取决于你的组织的RTO要求,你可以选择应用的sync频率。通过创建一个策略来定义调度,然后把调度和应用的迁移关联起来。

首先,创建一个调度,下面的例子中在每一分钟迁移应用配置。把它保存成一个Yaml文件,然后使用`oc create -f` 来创建策略。

apiVersion: stork.libopenstorage.org/v1alpha1
kind: SchedulePolicy
metadata:
name: sched-policy
namespace: appns
policy:
interval:
intervalMinutes: 1
daily:
time: “10:14PM”
weekly:
day: “Thursday”
time: “10:13PM”
monthly:
date: 14
time: “8:05PM”

接下来,创建一个迁移:针对 “appns”命名空间、“dr-site”集群配对、和使用这个调度。注意文件最下方的“schedulePolicyName”。存成一个yaml文件,然后通过` oc create -f` 来应用它。

apiVersion: stork.libopenstorage.org/v1alpha1
kind: MigrationSchedule
metadata:
name: migrationschedule
namespace: appns
spec:
template:
spec:
clusterPair: dr-site
includeResources: true
startApplications: false
includeVolumes: false
namespaces:
– demo
schedulePolicyName: sched-policy

注意以上仅仅设定includeResources是true,而设定其他的都是false,因为同步DR集群已经在两个集群上都配置了数据,因此我们不再需要include卷,并且直到有系统错误发生前,我们也不想启动这个应用。如果我们使用异步PX-DR方式,我们需要把`includeVolumes` 改为true。

你可以通过运行下面的命令来验证迁移是否已经完成。

$ storkctl get migration

通过OpenShift DR站点来恢复

现在OpenShift集群都已经sync完成,应用也sync完成。我们准备好来恢复应用了。当一个主站点的灾难发生后,下面的步骤即可在DR站点上恢复,并且是零RPO。

首先,关闭主站点,等待域变成  (NotInSync)

$ storkctl deactivate clusterdomain ocs-primary
$ storkctl get clusterdomainsstatus

接下来,如果你有权限访问主站点,把复制集变成0。如果你没有权限访问主站点,直接走到下一步,在容灾站点上恢复应用。

$ oc scale deploy -n demo –replicas=0 –all

通过向迁移调度增加 `suspend:true` ,并且更新spec,可以暂停迁移

apiVersion: stork.libopenstorage.org/v1alpha1
kind: MigrationSchedule
metadata:
name: migrationschedule
namespace: appns
spec:
template:
spec:
clusterPair: dr-site
includeResources: true
startApplications: false
includeVolumes: false
namespaces:
– demo
schedulePolicyName: sched-policy
suspend: true

$oc apply -f migration-schedule.yaml

最后,在DR站点上,启动迁移,打开DR站点上的Pods。

$ storkctl activate migration -n appns

你的“appns”命名空间里的应用现在已经在OpenShift DR站点上重启了,并且是0数据损失。

PX-DR包括一个API可以自动化的实现上面的步骤,另外,当主站点又重新启动后,应用的配置和数据会重新被sync,这样就可以重新在主站点上启动应用。

百易传媒(DOIT)将上线全新视频对话节目——百易堂

张 妮娜

文字适合传递深度思考,视频则能传达更声情并茂的信息。为了传递更丰富的数据智能产业内容,百易传媒(DOIT)策划新的视频节目——百易堂,带你走进数据智能产业的方方面面。

百易堂是百易传媒(DOIT)精心打造的高端对话栏目,聚焦企业ICT产业应用的焦点话题,由具有30年+产业从业经验的资深媒体人——DOIT/Dostor总编宋家雨主持,结合行业应用最新应用特点,抽茧剥丝,为行业/企业用户提供最具有价值的专家观点,上演一场ICT产业最强大脑的激情碰撞!

新闻会客厅、对话系列回顾

作为长期关注数据智能产业的专业媒体,百易传媒(DOIT)关注企业信息化息息相关的技术与应用趋势,包括企业级数据存储、大数据分析、智能AI技术、物联网、边缘计算等领域,观察和总结企业信息化进程的关键技术实现与实际应用价值。

在百易堂栏目的策划过程中,策划组成员规划了许多内容,每次会邀请一到两位嘉宾对一个问题进行讨论,嘉宾将带着多年行业经验,带着一线的真实体验,为您揭露技术优劣与应用场景中最真实的一面。

企业数字化转型最关注的,就是我们最关注的,节目早期,我们将就企业在数字化转型中面临的数据存储、数据管理等问题进行讨论和碰撞,讨论关于全闪存存储、讨论软件定义存储、讨论分布式存储等等,为什么这些话题成为热点,为什么是值得关注的。

考虑到媒体传播的趋势,未来也考虑将视频截取为多个短视频,在短视频网站上进行展示,力求以短平快的方式普及和传递一个关键信息,在不知不觉间,获得最有代表性,最有价值的行业洞察,get新知识点。

高端存储是如何演变的?

软件定义存储有全闪存吗?

闪存能在多大程度上替代磁盘?

… …

您最想听到哪些热点话题?

快来参与话题征集,留言给我们吧!

——END——

精彩内容敬请关注DOIT微信公众号:doitmedia

欢迎添加下方微信,加入数据存储交流群!

《2020年行业云原生应用报告指南》发布,加速云原生应用落地

张 妮娜

2020年,各家公有云厂商都推出了容器相关服务,做到极致的如AWS这样的云厂商甚至推出了三四个容器相关服务,在on-premise市场中,红帽的容器服务OpenShift和Rancher都取得了较高的认可度,许多企业都开始在自己的IT架构中融入容器元素,容器技术以及以容器技术为核心的云原生技术正在以不可阻挡之势向我们走来。

云原生能带来诸多优势,它能大大改善应用开发运维迭代的效率,帮助企业业务创新迭代,它能改进资源弹性管理和迁移的效率,帮助企业降本增效。云原生应用极大地发挥了云计算本身的优势,作为现代化基础设施的重要组成部分,能帮助企业on-premise与云端融合打造企业急迫需要的混合云架构,作为云原生的概念普及阶段,更多企业需要意识到云原生的优势。

让传统企业具备互联网公司一样的能力

2020年5月28日,由百易传媒(DOIT)联合学术界和云原生行业专家联合编撰的《行业云原生应用报告指南》正式发布(专家审订阶段-即将开放下载),在此前的一次沟通会上,百易传媒总编宋家雨表示,互联网企业的发展势头与传统行业面临冲击的情形形成了鲜明对比,传统厂商处于局面,面临着来自互联网的巨大冲击,主要原因还在IT基础设施架构支撑能力上的差距,这种差距集中体现在云原生应用方面。

至于为什么要在现在发布这样一个报告,主要是为了在云原生普及阶段中让企业用户能尽可能多的了解云原生的价值,在谈到云原生的价值时,企业级IT宋家雨表示云原生解决了这样一个问题。

互联网公司能凭借云原生技术解决双十一这样的技术难题,传统行业则没能利用云原生技术在新制造、新零售、新物流方面做太多创新,以制造行业的变化为例,以前的制造强调批量化制造,但新制造强调个性化制造,这其实要求IT基础设施要做相应改变,以前的制造环节不需要面对最终用户,但新制造则需要制造环节直接面对消费者,这要求IT系统支撑能力具备类似双11应用那样的系统支撑能力,在宋家雨看来,这是云原生应用要解决的问题。

简而言之,是让企业IT也具备云厂商类似的弹性、性能等能力,这与近年来企业级IT技术借鉴互联网技术的趋势是一致的,既然IT基础设施是互联网的优势之一,那为什么不能学呢?

《行业云原生应用报告指南》介绍了微服务、DevOps、Kbuernetes、容器、分布式应用等各个技术领域的主要技术以及对于云原生的重要性,也大致介绍了如何运用这些技术和产品解决方案在行业中付诸实践,提升企业的云原生能力,改变被动的局面,立足从用户角度出发的解读,为企业用户的云原生之路提供分析和指导。

英特尔专家:云原生落地需要基础架构平台的支持

参与白皮书编纂的英特尔数据中心产品架构师许渊带来了来自行业的最新观察,他看到,如今包括银行、电信、能源、制造等领域都在开始部署云原生,甚至包括政府领域的部分平台也是以云原生的方式来规划的。

许渊认为,如今AI、5G、区块链、边缘计算等各种技术层出不穷,技术推动了很多变化,消费者习惯发生了变化,企业的组织和生产发生了变化,产业结构发生了变化,变化在加速,而云原生技术特性是企业应对变化的利器,为了应对变化,他认为企业应该做好这样的准备。

首先是要了解什么是云原生。其次是要制定一个完善的计划,如何应用云原生的各种技术,从哪些技术先下手。第三点,针对需求将云原生逐步落地。

由于云原生的概念相对比较模糊,所以,许多人对于云原生的认识并不多,很多人停留在要认识云原生的阶段,这也是此次撰写云原生的主要目的,但对于一些了解或者已经在部署云原生的企业来说,如何部署才是他们最关心的。

许渊表示,云原生技术的首要条件是工作负载的云原生化,这方面特别需要基础架构平台的支持;其次是企业组织的适应,这其中涉及开发流程和运维流程,涉及组织架构和人才的培养、知识的积累。

云原生平台的基础架构跟传统平台区别还是比较大的,比如,在传统应用架构下,网络流量大多是南北向,但到了云原生平台的时候东西向流量更多,工作负载的大规模水平扩展对于整个数据的传输存储和计算都产生非常大的压力。

英特尔在这一领域提供了许多相应的技术产品和解决方案,构建了丰富的软硬件生态来解决这一问题,让数据移动的更快,存储的更多,适应更广泛。事实上,英特尔在国内也投资了一些容器相关的创新企业,比如战略投资了灵雀云。

戴尔科技集团专家则介绍了云原生落地的一些观察

戴尔科技集团既有常见的硬件基础设施,也有VMware这样的软件基础设施,媒体沟通会现场,参与白皮书编纂的戴尔科技集团售前系统工程部解决方案架构师林小引,为我们介绍了一线综合IT服务商在云原生落地方面的观察。

他提到,如今的虚拟化和容器化技术正在整合,商业虚拟化杰出代表VMware也在致力于让虚拟化和容器世界相互打通,凸显了容器技术的重要性,更是确认了容器技术势不可挡的发展趋势。

从工程方案实现来看,包括公有云厂商以及戴尔科技集团这样的综合IT服务商都在推行工程一体化的解决方案,为的是降低部署的复杂度,缩短部署周期。以工程一体化来实现的方案优势还体现在运维管理和云上云下的负载迁移过程,可满足企业打造混合云方案的需求。

云原生技术越来越多的出现在生产环境中,业内包括戴尔科技集团在内的存储公司都在存储方案中添加对于容器存储标准的支持,还有一些存储系统本身也采用了容器技术,以微服务的方式来构建存储功能,在存储产品的升级维护迭代方面表现出明显优势。

云原生已经成了现代基础设施的一部分,云原生的落地上没有明显的行业倾向性,就连比较传统的制造业用户也有了许多云原生方面的战略,更遑论金融、能源、政府等行业了,所有行业都需要云原生,云原生的广度和深度已经远远超过了当年的虚拟化,可以说是新一代的企业应用基础设施。

在与用户接触过程中发现,云原生应用、人工智能、5G和云边缘基础设施、物联网等新兴技术的引入,为企业的数据保护带来了许多新的挑战,许多企业已经认识到了在数据保护上的欠缺与不足,都在寻找适合的数据保护解决方案。

能感受得到,这场云原生革命已经袭来。

结语

谈到云原生的发展时,参与白皮书编纂的浪潮集团云计算高级架构师吴栋也表示,云计算过往的发展主要解决了资源池化以及使用的便捷性问题,实际行业应用并没有将云计算为行业发展带来的红利最大化,云原生从应用侧开始推动云化,传统行业如果能进行云原生的改造,将是信息化建设方面的一次弯道超车的机会。

2020年的新冠疫情让企业看到了数字化转型的重要性,云原生作为一种套技术体系,极大的开放性和极高的使用价值吸引了越来越多的用户,有望成为数字化转型进程的一剂催化剂,DOIT组织编撰的《行业云原生应用报告指南》希望能让更多人认识到云原生的价值,加速这一过程。

(朱朋博编辑整理)

Portworx Essential上手操作指南

张 妮娜

Kubernetes架构对于初学者来说还是比较复杂,尤其是在Kubernetes上运行有状态应用,有时用户还并不需要企业级规模的功能。因此Portworx发布Portworx Essentials版本,它为小型生产环境提供了所有必要的Kubernetes存储功能,而且是永久免费的。下面让我们看看对于有状态应用的必要功能有哪些,以及如何开始安装和使用。关于Kubernetes运行有状态应用的必要原则有哪些?如果在Kubernetes上运行有状态应用,比如MySQL, Postgres, Kafka, Cassandra, Gitlab, WordPress, Jenkins,为了保持数据,需要满足一些必要的原则,如CAP原则就建议(https://dzone.com/articles/understanding-the-cap-theorem):数据需要保持一致性、可用、且容许分区。为了满足这样的原则,就需要进行数据管理。开始上手操作!安装Portworx Essentials前需要准备的列表在这里:(https://docs.portworx.com/start-here-installation/),也包括下面的最低硬件配置,同时用户需要已经把Kubernetes安装好。

注意:Portworx Essentials不能被安装在air-gapped环境中。如果需要在air-gapped的环境中运行有状态应用,需要安装Portworx Enterprise。在一个包括至少3个Worker Node的集群上安装完成Kubernetes之后,就可以开始安装Portworx Essentials了。可以先打开PX-Central(https://central.portworx.com/),登录后点击“Install and Run”。

在Install and run窗体,点击右上角的“New Spec”

在这里,你需要选择需要安装的Portworx产品的版本,选择“Portworx Essentials,”点击“>Next.”。

接下来根据提示,填写Kubernetes环境的相关配置信息。

到最后一步,需要同意Portworx Essentials的授权协议。

点击“Agree”,然后可以保存Spec文件,以及可选的元数据标签。

你可以下载 Spec文件,或者copy kubectl apply命令,在已经配置过kubectl的Kubernetes集群里运行。

用kubectl配置完Portworx Essentials,你可以用下面的命令监控Portworx Pods。

$ kubectl get po -n kube-system -l name=portworx

所有的Pods都运行起来后,就可以正式使用Portworx Essentials了。如果需要更深入的了解功能,可以访问Portworx Essentials的文档(https://2.5.docs.portworx.com/concepts/portworx-essentials/),以及查阅用户授权协议(https://portworx.com/essentials-license-agreement/)。

如果遇到任何问题,Portworx提供在线支持,可以回答和解决问题,以及提供升级。关于问题解决也有相关文档可以参考。(https://2.5.docs.portworx.com/portworx-install-with-kubernetes/operate-and-maintain-on-kubernetes/troubleshooting/troubleshoot-and-get-support/)

破解AI存储难题 英特尔“存储金字塔”重塑层级结构 指引存储未来

朱 朋博

4月24日,英特尔公布2020年第一季度业绩表现,在众多业务群中,英特尔非易失性存储解决方案事业部(NSG)实现了46%的最高同比增长,营收达到13亿美金,比数据中心事业部(DCG)的增速还高3个百分点。

这其中,究竟是傲腾贡献多还是传统NAND存储贡献多,我们不得而知,不过从英特尔中国区非易失性存储解决方案事业部战略业务开发总监倪锦峰的言语间我们能感受到,其对傲腾业务的发展态势非常满意。

英特尔中国区非易失性存储解决方案事业部战略业务开发总监倪锦峰

而在NAND存储中,英特尔此前宣布的144层QLC NAND规划也在紧锣密鼓地进行中。作为目前市场上最高层的NAND技术,144层QLC NAND的发布势必将掀起闪存普及的又一波浪潮。所以NAND存储对于英特尔NSG业务部门的重要程度也不言而喻。

从倪锦峰的介绍中了解到,2020年第一季度,突如其来的疫情面前,英特尔数据中心业务需求迎来暴增的趋势,互联网、云计算厂商对扩容都有较大需求,用户对于TLC/QLC NAND以及傲腾+QLC的组合方案的需求明显增多,倪锦峰认为,以创新闪存能力补充服务能力的做法比单纯添加服务器的做法要更具优势。

当然,闪存的快只是一方面,另一方面,闪存的容量也越来越大,这种在性能和容量上不断优化的层级就是英特尔常说的“存储金字塔”,这一贯穿整个IT架构的体系已逐步成为解决多样化存储需求不变的参照系。

在2020年4月15日举行的软件定义存储线上峰会上,倪锦峰详细介绍了AI对数据基础设施的挑战,也介绍了英特尔如何基于“存储金字塔”解决AI存储的问题。

AI带来的数据存储新挑战!

事实上,AI作为一种新的数据处理技术,它的数据管道(Data Pipeline)涵盖采集、准备、训练和推理四个阶段,每个阶段对于数据存储的要求都不尽相同。

数据采集阶段:数据从不同来源聚拢并存储起来,数据的大小和格式存在各种差异,数据类型往往是文件或者对象形式的非结构化数据。

采集过程的特点是首先要进行百分之百的顺序写入,从多个数据源进行数据的批处理或者流传输,如果存储性能跟不上,数据就会被丢弃,所以,数据采集阶段对存储性能的要求非常高。采集完后,还要将收集来的数据重新放入更大的存储池内,对读性能也提出很高要求。

数据准备阶段:由于数据大小和格式不一样,为了便于训练,必须改为统一格式,以便后续训练阶段使用。这一过程要对不同格式和尺寸的数据进行规范化处理,其快慢就取决于计算节点的内存以及存储的性能。在数据转化过程中,其工作负载跟采集过程也很不一样,包括顺序读写、随机读写,在最极端的情形下,甚至可能是50%:50%的读写混合。

训练阶段:AI训练过程的工作负载非常密集,往往需要高性能的GPU或者加速器等来执行一系列的数学函数,对资源要求非常高,在做特定训练时,AI训练所需的时间更加取决于所部署的高性能内存与高性能存储的数量。

推理阶段:推理过程是检验人工智能的重要阶段,可以真正认识到人工智能的强大之处。推理基础设施根据不同场景,所需配置的处理器、内存、存储都不尽相同。

从以上可以看出,AI对于存储的需求是复杂多变的,英特尔的思路是希望更多数据能够更加靠近处理器,建立以数据为中心的高效存储架构,也就是我们说的“存储金字塔”。

以数据为中心的高效架构解决AI存储难题

英特尔以数据为中心的存储架构中,最上层是DRAM,最下层是磁盘和磁带。其中,DRAM和英特尔傲腾持久内存提供超高性能和超低延迟,英特尔傲腾固态盘以及英特尔TLC、QLC大容量、高性能固态盘相配合则作为更好的温热数据存储层。

因为每一层级间的容量和时延特性有一个数量级的差距,所以系统可根据不同数据的工作负载进行冷热分层,然后根据需求和成本预算来不断优化性能,解决各种存储难题。

作为一种革命性的技术,英特尔傲腾是过去20多年以来,在内存和存储方面的革命性进步,它的出现让“存储金字塔”真正完整起来,成为解决各种存储难题的杀手锏。

相比传统的NAND、HDD技术,革命性的傲腾技术具有以下重要特性:

第一,支持就地写入(Write in Place),不需要像NAND一样先擦除再写入,引起对IO工作负载不利的问题,例如垃圾回收(Garbage Collection)等。

第二,支持字节寻址(Bit addressable),最大程度的获得超低的延迟。

上图展示的是硬盘在70%/30%的随机读写工作负载下,所展现的IOPS/TB扩展能力。

随着容量提升,机械硬盘的IOPS并没有什么提升,SATA NAND固态盘受接口限制,容量和性能提升也有限,PCIe固态盘受限于NAND介质的特性,扩展能力有限。而英特尔傲腾则从介质层突破种种限制,展现出良好的性能可扩展性,成为低性能存储的有益的补充。

同时,英特尔傲腾P4800X固态盘的延迟极低,一致性及寿命表现非常强。

据上图最左显示,在不同的随机写入负载下的平均读取延迟,随着写入压力的不断增加,NAND固态盘的读延迟也在不断增加。相比之下,英特尔傲腾固态盘的超低延迟始终没有变化(横轴蓝色线),在图例中的极端情况下,傲腾固态盘比NAND固态盘的读取延迟能降低63倍左右,差异非常显著。

此外,英特尔傲腾P4800X固态盘有超高的寿命,通常我们用DWPD来表示写入寿命,英特尔傲腾固态盘的DWPD便多达60 DWPD,相对英特尔的NAND SSD比如P4600、P4610只能支持3DWPD,傲腾固态盘在寿命上的进步是非常可观的。

低延迟、高寿命的傲腾也带来极高的系统效率,比如,可以用更低的缓存比例,来实现更好的性能,同时又承受巨大的写入压力。

在人工智能场景中,四个阶段通常用一个存储数据管道来支撑,需要的是持续的、一致的吞吐量,以及超低的延迟,英特尔傲腾加上英特尔QLC 3D NAND的组合方案可以帮助改善客户的超融合或者相应的软件定义存储的解决方案,为即将到来的人工智能的爆发,做好相应的准备。

在落地应用方面,百度已率先于2018年发布了基于英特尔傲腾固态盘加英特尔QLC 3D NAND固态盘技术的存储解决方案,这一解决方案极大提升了AI、Big Data、Cloud的存储性能。比如说在AI的训练场景中,相比原来的磁盘方案可以得到21倍的性能提升, 96%的延迟下降,同时TCO也下降了60%左右。此外,这一解决方案很好地解决了性能以及容量的可扩展性,百度对于该方案非常满意。

以数据为中心的高效架构面向广泛应用场景

除了解决AI存储难题,以数据为中心的高效架构在许多其他场景中都展现出了巨大价值。

例如在VMWare vSAN方案中,将高性能缓存从NAND PCIe固态盘换成英特尔傲腾固态盘以后,虚拟机密度提升了60%,同时系统整合率能够提升30%,也就是说,可以节省更多的服务器,更多的空间,减少更多的功耗等。

在Hadoop方案中,将英特尔傲腾固态盘作为Hadoop的临时数据缓存,吞吐量或者性能可提升40%左右。

在开源分布式存储Ceph方案中,英特尔傲腾固态盘替换NAND固态盘存放Journal,作为元数据(metadata)缓存,能够使得99%延迟降低73%,同时IOPS性能提升了大概40%左右。

微软Azure Stack HCI使用英特尔傲腾固态盘作为缓存盘,每个系统、每个节点所能够支持的虚拟机数量提升达60%左右,同时虚拟机的跑分也提升了80分。

此外还有很多国内企业也在积极利用英特尔傲腾技术进行创新,在本届软件定义存储峰会上可以看到的浪潮、VMWare、XSKY、QingCloud青云等都有相应的方案展示。

结语

在如今应用类型越来越复杂多样,数据类型和数据存储需求也多种多样的发展趋势下,我们也许无法预测未来的存储技术是什么,但可以肯定的是未来存储将由工作负载来驱动。

英特尔不断推动存储技术演进,满足不断变化的需求,通过傲腾持久内存以及傲腾固态盘使得数据更加靠近CPU,通过QLC 3D NAND固态盘为海量数据存储提供一个最佳选择,英特尔所打造的“存储金字塔”已在当下这个工作负载多样化且密集的时代成为解决不同存储需求的一大利器,而在各层级产品不断演进的过程中,我们也有理由相信这一“金字塔”架构将在数据负载的指导下发挥出更大的价值。

从可用到易用,杉岩MOS 5.6版本管理平台全新升级

宋 家雨

存储管理平台是企业管理存储和数据的媒介,对一线运维工程师而言,管理平台是否好用,对运维效率有着至关重要的影响。近日,杉岩对象存储MOS 5.6版本正式发布,对管理平台进行了全新升级,不仅管理功能更加丰富,而且对用户体验进行了全新设计,提升用户的掌控感,增强易用性,帮助用户更好地实现全面管理、高效运维。

一、强化掌控感:更直观的展现,让用户掌控全局

▪ 集群状态、硬件资源集中展现,快速获得关键信息

在首页,用户可清晰查看集群总容量、已用容量、可用容量、集群数据健康状态,直观了解服务器、磁盘、固态盘等硬件资源状态,信息获取更加直观。

全局视图

在资源管理方面,故障域的信息展现也更加全面,包括空间使用详情、节点/硬盘数量、近期数据增量、安全级别等,用户还可通过动态图表及时关注IOPS、带宽、时延等性能表现,对系统运行状态有更好的掌控。

故障域管理

▪ 存储媒介和网络连接状态管控

在硬盘管理方面,用户可按照节点或故障域两个维度,查看每个节点或每个故障域内部的硬盘数量、容量、介质类别、运行状态等,满足不同运维场景下的信息获取需求。

图3.硬盘视图(按节点划分)

图4.硬盘视图(按故障域划分)

在网络管理方面,用户可通过网络视图,清晰有序地掌握管理网络、存储业务网络、存储集群网络的连接状态,不用再为繁杂的网络辨识感到头痛。

图5.网络视图

▪ 新增健康度百分比显示,集中展现逻辑池运行状态

在逻辑池管理中新增对健康度的百分比显示,帮助用户更细粒度的把握逻辑池健康状态,以便对资源及时调整。

图6.逻辑池管理

二、高效率:新增多处快捷入口简化运维管理

▪ 首页新增告警管理、事件提醒快捷入口,数据监控更加方便

在首页的右上角,新增告警管理和事件提醒的快捷入口,如有告警或提醒,用户只需单击即可进入告警管理界面,方便用户第一时间查看及处理紧急事项。此外,用户还可以自由选择界面中显示哪些栏目,避免不必要的信息干扰,改善操作体验。

图7.告警管理

▪ 全局任务管理快捷入口,快速浏览事项进展

多任务并行推进可显著提升效率。旧管理平台中,用户只能等当前任务进程结束后再进行其他操作,严重影响效率。新平台支持多项任务后台同时进行,用户可在首页单击任务管理快捷入口,总览全局任务进展。

图8.任务管理

▪ 用户可在“账号登录”中注册License、查看用户信息

在新平台中,用户可在“账号登录”菜单栏中完成注册License、License授权、查看用户信息等操作,相比之前更加便捷。

图9.账号登录栏

三、可操作性:进一步完善工作流程

▪ 资源管理模块新增搜索框,方便快速检索所需资源

用户在进行资源管理时,往往要对故障域、逻辑池、磁盘等存储资源进行操作,通过在界面中常置搜索框,可以帮助用户快速找到所需的资源,提高运维效率。

图10.常置搜索框

▪ 分类查看操作日志、系统日志

清晰明了的日志管理可以帮助一线运维工程师节省大量时间。新平台支持操作日志、系统日志分类查看,而且用户可以根据运维需求自由筛选日志级别、时间状态,以及界面中要显示的栏目,方便用户高效获取关键信息。

图11.操作日志

图12.系统日志

此次MOS 5.6版本管理平台的版本升级,根据用户的需求反馈,对集中信息呈现、工作流效率优化、简化操作等多个方面进行了优化,提升了管理平台的易用性,帮助一线运维工程师实现全面管理和高效运维。

中芯国际拟科创板上市, 募资用于12英寸芯片SN1项目

张 妮娜

中芯国际宣布,于2020年4月30日,董事会通过决议案批准建议进行人民币股份发行、授出特别授权及相关事宜,但需取决并受限于市况、股东于股东特别大会批准以及必要的监管批准。

公司将向上海证交所申请人民币股份发行。上海证交所于形成审核意见后,将向中证监申请人民币股份发行的注册。于人民币股份发行经中证监同意注册及完成股份公开发售后,公司将向上海证交所另行申请批准人民币股份于科创板上市及交易。人民币股份将不会于香港联交所上市。

建议将予发行的人民币股份的初始数目不超过16.86亿股股份,占不超过2019年12月31日已发行股份总数及本次将予发行的人民币股份数目之和的25%。就不超过该初始发行的人民币股份数目15%的超额配股权可被授出。人民币股份将全为新股份,并不涉及现有股份的转换。

于扣除发行费用后,有关募集资金拟按照以下方式用作下列项目所需总投资:约40%用于投资于12英寸芯片SN1项目;约20%用作为公司先进及成熟工艺研发项目的储备资金;及约40%用作为补充流动资金。

董事会认为人民币股份发行将使公司能通过股本融资进入中国资本市场,并于维持其国际发展战略的同时改善其资本结构。董事会认为,人民币股份发行符合公司及股东的整体利益,有利于加强公司的可持续发展。

软件定义存储如何run在公有云上?中国移动专家这样说

张 妮娜

软件定义存储(SDS)是基于廉价服务器构建高可靠、易拓展、低成本的存储资源池,为云计算提供块、文件、对象等存储接口,而业界另一大热点,云原生,在演进过程中,普遍被定义为利用云计算的先进特性,以容器、微服务、容器编排等先进技术,在云上开发和部署可扩展应用的一种方法和理念。那么,如何用云原生的逻辑去设计并应用好SDS?中国移动云能力中心IaaS产品部技术总监孟令坤,在2020(第三届)软件定义存储线上峰会上从多角度阐述他的观点。

云原生时代SDS释放无限潜力

云原生时代,服务重点转向应用架构相关的PaaS和SaaS层面,将大大增加客户黏性,客户角度云原生改变了应用构建的方式,通过云服务商提供的产品模块进行高效构建,聚焦业务逻辑实现,云服务商从资源服务升级为技术架构服务,从云服务商角度,云服务商输出的是技术架构、产品与服务,产品体系出现分化和差异化竞争,面对不同行业和用户提供针对性、具备自身优势的产品和服务,变可替代为“人无我有、人有我优、不可替代”。

同时,公有云业务上也面临激烈竞争,对存储价格、运维、运营提出新的挑战,因此公有云存储在需求上呈现多元化的特点,如面向应用,需要以应用为中心进行功能性能接口优化和联动相关的产品和服务,规模大易拓展,应对数以万计的客户需求,场景多、混合负载,公有云用户多而杂,具有不可预期性,低成本,这是市场竞争的关键要素。

这张公有云存储的全景示意图,主要围绕中心公有云拓展介绍、传统数据中心、混合云等周边场景,公有云平台主要从IaaS、PaaS、SaaS三层来看。

在IaaS层,通常提供品类丰富的存储服务,如典型的块、文件、对象存储,同时也会提供HDFS、日志存储、备份等产品,其中每种存储通常提供三种以上的不同服务等级的子产品,如块存储分为重量型、均衡型、高性能型和超高性能型,满足不同性能的要求,存储呈现出从IaaS型服务项PaaS型服务的转型趋势,大量的云存储将作为PaaS一部分被间接消费,对存储的管理已经被PaaS平台内部负责,因此会降低对存储的管理需求。

PaaS层最普遍的是品类丰富的数据库服务,相比PaaS型存储,SaaS服务进一步弱化了用户对存储的感知,从全球SaaS市场占比来看,国外SaaS市场超过IaaS加PaaS之合,未来可能成为最重要的消费方式。

在传统数据中心,客户越来越多的希望将具备超大规模、低成本特点的公有云存储作为灾备归档良好的选择,用于替代老旧的磁带存储,通过云存储网关或者数据传输服务实现这一要求,进一步公有云厂商直接为客户提供全套定制的私有云服务,并连通公有云,形成混合云方案,典型的如混合云备份,混合云灾备,实现数据的跨区域存储,混合云存储阵列提供了一种远程访问中心公有云存储的方式,通过本地缓存、压缩、加密,配合云专线,能够实现一定性能下的超大访问需求。

有时候我们会听说数据引力这一概念,如果数据在靠近用户或者数据产生的地方进行存储和处理,能够满足低时延、大带宽的需要,则催生了边缘云存储。很多时候数据是不能删除的,需要保存较长时间甚至是永久存储,但是计算资源存在突发的需要,传统数据中心、混合云、边缘云三种场景均可以在需要时利用公有云的超的规模和多种类型的算例满足突发的需求,自身只需提供一定量的日常需要。

因为数据分散在本地、边缘运、公有云等多处,甚至是多家公有云厂商数据的统一管理需求在增加,即面向管理面的软件定义存储也迎来了新的机会。

面向应用是云计算3.0云原生阶段的基本要求,以对象存储为例说明软件定义存储是如何面向应用进行优化,以提供综合解决方案,简化应用的开发,助力业务敏捷。

作为非结构化数据存储的理想方式,对象存储提供了多样的数据处理功能,如图片水印、压缩和转换等等,视频祯截取,各种类型的文档预览和流媒体等等,另外结合CDN、SD-WAN可以实现访问的加速,通过临时授权认证可以支持大量移动端访问的需求,如短视频、直播等场景。

谈论存储,性能是无法避开的话题,随着高速存储介质和高速网络的发展,软件定义存储实现高性能已经是水到渠成的事情,内存及存储有效拉近了DRAM和SSD的差距,NVMeSSD实现了高性能的同时,成本也在不断降低,OpenChannel SSD给开发者提供了更多的想象空间,尤其在性能方面,NVMe-OF技术实现了高速存储远程访问的低延时,当然这些技术的应用需要对现有的操作系统和软件站进行大量的优化和甚至改写,我们相信未来三到五年,各公有云提供商将会实现端到端的高性能存储解决方案,支持压缩、加密的指令集CPU,网络,SSD等等也在提升软件定义存储性能方面的能力。智能网卡在实现网络卸载的同时,也在实现存储虚拟化的卸载,解决了性能、安全等问题。

从成本角度来看公有云的存储设计,大多数企业将价格作为选择公有云的主要考虑因素之一,面向成本优化是公有云存储设计的基本要求,根据存储使用报告,节省费用的行动为可删除的无用资源中90%以上是不大使用的数据快照,55%到90%是选择合适的存储大小,综上,数据迁移合适的大小的存储,消除冗余是实现成本节省的关键。

从技术上看,主要有以下途径:IT企业倾向于使用公有云廉价的存储替代磁带,实现备份、容灾和归档存储,源端数据驱重、压缩可以有效节省带宽成本和存储空间。MSDS,也就是面向管理面的SDS,实现公有云、边缘运、自有数据中心数据的统一管理,降低管理成本的同时,通过数据分析和可视化手段,可以给出合理的使用建议,有效降低数据的冗余度。

价格总是与性能挂钩,相同的硬件成本提供更好的存储性能是实现成本压降的关键手段。通过生命周期机制,结合数据访问特点,实现数据从标准存储向低频或归档存储的流动,可有效降低存储成本,有趣的是有些存储厂商实现对象存储和文件存储的统一,两者互转时仅需要修改源数据,无需数据搬迁,也有效节省了计算和带宽资源,一定程度节省了成本。

通过引AR技术实现自动化智能运维和运营,可有效降低运维和运营成本,常见的方式有进行磁盘的故障预测,存储扩容的分析,业务负载和内部负载的自动化优化调整。

软件定义存储是公有云的关键基石

SDS需要具备支撑综合解决方案的能力,而SDS正是以其软件定义的灵活性,满足各种场景,位置,性能,成本的需求。以AR场景为例,典型的AR场景有提取、预处理、模型训练、推理等关键步骤,不同的阶段有着不同的需求特点,通过对象存储,文件存储,数据库存储三者结合,可以有效的支撑AR场景工作流,如通过归档存储满足大规模、低成本样本数据的存储,通过变形文件系统,满足高带宽低时延的数据存储与访问,通过数据库实现关键结构化数据存储。

以混合云为例,通过消息存储和通知服务提供设备互联服务,通过存储网关混合云阵列实现数据流动,通过去重压缩节省带宽,通过加密保证传输安全,通过专线SD-WAN实现传输加速,中心公有云满足企业超大规模存储和临时激增多算力的需求,最后可通过公有云实现数据的全球分发。

—— END ——

原生应用改造的时机已经到来!4月28日,行业云原生技术论坛将在线上举行,此次DOIT联合中国计算机学会存储专委会、中国电子学会,特邀国内外云原生应用的领导企业,共同发起和推动传统行业/企业云原生应用水平提高,加速完成产业转型。

点击官网了解详情:https://www.doit.com.cn/subject/cloudNative/

加活动助手微信进互动群

2020软件定义存储峰会第一波金句来啦

张 妮娜

由DOIT主办、中国开源云联盟,中国超融合产业联盟,Ceph中国社区支持的2020软件定义存储峰会首次在线上举行,活动分为两天进行。今年我们换了一种聚会方式,但大家的热情依旧未减。在第一天的活动中,来自英特尔、IBM、浪潮、华为等企业的技术专家发表精彩的主题分享,他们都说了哪些观点?让我们一起快速盘点。


以上就是峰会首日的金句整理,4月16日下午14:00将开启峰会第二天的日程,将有更多精彩内容呈现给大家。来自SUSE、联想凌拓、青云QingCloud、中国移动的技术专家,以及高端存储知识CHO西瓜哥将来到活动直播间,敬请关注!

注册通道:http://sdss.doit.com.cn/

IDC:中国外置存储市场将于2020年下半年恢复增长

张 妮娜

IDC中国近日发布《中国企业级外部存储市场季度跟踪报告,2019年第四季度》。报告显示,中国企业级外部存储市场规模在2019年第四季度达到13.2亿美元,2019年全年销售额突破40亿美元,达到40.1亿美元,整体相比2018年增长了16.8%。

从全球视角来看,外置存储的增长进一步放缓,2019年第四季度相比去年同期呈现0.1%的负增长,2019年与去年相比增长1.9%。IDC 认为,存储市场仍受到内置存储增长乏力的影响,从全球来看,2019年,全球内置存储市场较去年同期同比下降3.0%;与此同时,全闪存阵列(AFA)的总销售额以两位数的强劲年增长抵消混合闪存阵列和磁盘阵列市场的下降。


IDC认为,超融合架构以高可扩展性、配置灵活、运维成本低等优势继续带动中国存储市场的增长,同时超融合架构的部署有助于简化混合云管理,在企业上云的浪潮下,超融合产品会越来越受到用户的青睐。此外,在中国,全闪存阵列 (AFA)仍然会保持较高的增长,IDC预测,2020年全闪存存储市场的增长速率将仍达到40%。

从厂商角度来看,华为在2019年的企业级存储市场出货份额达到29.5%,排名第一,其全闪存存储阵列出货份额较去年同期大幅上升,是华为增长的动力之一;出货排在第二的是H3C,其超融合产品在政府行业备受青睐;Dell Technologies的超融合产品出货比例较去年同期上升超过30%。

IDC认为,在新冠肺炎疫情的影响下,在2020上半年,中国企业外置存储出货量将出现下滑。由于2020年第一季度中国是疫情的爆发中心,所以中国存储市场第一季度受影响较大,但是随着疫情的有效控制,中国外置存储市场将逐渐恢复增长。新冠肺炎疫情对存储市场的影响除了对需求端带来的影响,导致需求推迟与放缓外,也对产品供应链及物流带来巨大的挑战。疫情促使组织机构加快采用有助于优化IT基础架构资源的技术和IT交付模型,互联网医疗、数字政府、远程办公、数字教育、无人售货等将显示出更强劲的需求,增加对IT基础架构的采购,尤其是云供应厂商,从而带来企业级外置存储市场的增长。

总体来看,IDC预测,全闪存存储阵列以及软件定义存储,尤其是超融合存储的增长将推动企业级外置存储市场的规模在2024年增长至63亿美元。

IDC 中国高级分析师杨昀煦表示,超融合基础架构将仍保持较高的增长;基于NVMe的全闪存阵列(NAFA)市场也是在全球范围内快速增长的子市场,尤其在中国,2019年全闪存阵列 (AFA)市场达到了58.6%的增长,也将在未来五年保持10%的年复合增长率。受到新冠肺炎疫情的影响,2020年第一季度,中国外置存储市场将受到较大的冲击,但是由于中国政府对疫情的有效控制,以及一些特定场景对IT基础架构需求的增加,中国存储市场在2020年全年仍将保持正增长。