中国数据存储服务平台

AWS核心架构师创业:带来百万存储节点Server SAN

 
  在享用云带给我们便利的同时,业务连续性、安全性是系统架构的重中之重。优秀的云架构如同人的神经系统,所有节点(神经元)具备相近的特性,无需单体强大但执行高效,单个节点故障不会影响整体系统运行,业务和数据可快速无缝地转移到邻近节点上继续运行,这一切改变对用户透明。节点调度是这项工作的核心环节,这是基于软件定义的系统的优势所在,每次调度与重新定义系统无异,包括增加和减少节点数量。管理和调度的效率是软件定义系统性能的关键环节,不同云解决方案的差别集中体现于此。目前,在为数不多实现盈利的云系统中,亚马逊的AWS最具代表性,它就采用了这样的系统设计原理,它的成功也为众多新进入这个领域的企业指明了方向。截止到2013年,AWS的节点数量已超过百万,以最低错误概率计算,每秒也有成百上千个硬件故障发生,如果没有完善的系统、高效的处理预案,如此庞大的系统是无法持续运行的。如今,AWS技术已经成为了可借鉴的成功经验,推动着云存储技术的高速发展和快速普及。
 
  拥有7年AWS云计算核心架构师工作经历的陈靓,历时3年推出了ZettaStor分布式块设备存储(DBS)产品。该产品基于软件定义,运用分布式计算技术把大量标准x86服务器的存储介质进行聚合,将这些存储资源整合成为既具备传统SAN/NAS的企业级功能和特性,又具有高弹性、高扩展性、高可靠性的存储系统,形成全新的Server SAN产品类型。ZettaStor DBS在AWS云上搭建的测试环境中,通过了由1 020个存储节点组成的集群长时间、稳定运行能力验证,这是国内首次公布如此大规模的测试。按照设计,ZettaStor DBS能支持百万存储节点,是目前业内Server SAN商用产品中支持存储节点数最多的。除支持超大规模存储容量外,99.999%的数据可靠性也为业内领先的指标。ZettaStor 的核心部件全部为自主研发,如没有像其他的产品那样利用Linux的通用文件系统存储数据,而是研发了自己的文件系统存储数据,网络传输上也是如此,鹏云网络研发了自己的异步组播(Multicast)传输层,用于数据传输和通讯。因此,可以把x86构架的服务器性能发挥到极致。
 
  ZettaStor DBS通过在存储节点上部署轻量级的管理软件,把各个节点上的各类存储介质进行聚合,形成可统一管理的存储池,并为各种应用提供高速的块设备接口,通过iSCSI协议,这些应用可以像访问本地硬盘一样访问存储系统提供的存储资源。采用开放架构的它,可运行在任何版本Linux系统下,并支持Hadoop、OpenStack、VMWARE等多种平台和多种类型虚拟机平台,适用范围很广。

 
  通过对不同位置数据的读写统一调配,数据被ZettaStor DBS并发分派到不同的数据节点上,整个分布式构架中,系统的所有存储节点都参加I/O操作,形成大规模并行的I/O处理方式,从而几何级数提高I/O处理能力,减少了系统的I/O瓶颈。随着存储节点及存储介质的增加,IOPS和吞吐能力的增长近乎线性。

 
  除了硬件基于x86平台结构相同,ZettaStor DBS的单层构架是简化管理和降低扩展复杂度的关键因素。在计算和存储融合的应用场景下,ZettaStor DBS可从传统的SAN的3层构架转换为同时提供计算能力和存储能力的单层架构,这种弹性是传统云设计思路可望不可即的。

 
  考虑到可靠性问题,ZettaStor DBS可根据用户对可靠性的需求,设定副本数量。这些副本被分别存放在不同存储节点上,其中任一份丢失,新的副本随即自动生成。除了系统本身,ZettaStor DBS的数据存储还具有智能自愈特性,系统可以在秒级时间单位内自动发现故障存储单元,并完成故障单元数据的迁移和故障单元的剔除。
 
  随着Server SAN模式在下一代数据库架构中的胜出,其颠覆传统SAN存储的灵活性、性能和超融合优势将被更多的用户所认识,预计未来将被广泛运用于云计算、数据库及虚拟化领域。ZettaStor DBS则让用户今天就可以体验到未来的速度,目前长达180天的无限制免费下载试用让这一切零距离
未经允许不得转载:存储在线 » AWS核心架构师创业:带来百万存储节点Server SAN
分享到: 更多 (0)