中国数据存储服务平台

海量数据存储技术(下篇)

中博集群存储是由深圳市中博科创信息技术有限公司推出的一款集硬件平台、先进的分布式文件系统和智能管理功能于一体的集群存储产品,它能够解决存储应用中的高容量、高带宽、并发访问、安全可靠、数据共享、高扩展性、易管理等各项需求。中博集群存储也是存储行业比较领先的产品,之前在《中博集群存储关键技术解析(上)》中已经介绍了它的统一命名空间、全接口支持、热点数据处理三种技术,下面来解析中博集群存储的另外四种关键技术。
 
1、自动精简配置/空间配额

在传统的存储系统中,如果给某项应用分配存储空间,必须预先从后端存储系统中划分足够大的空间分配给该项应用。即使这项应用暂时不需要那么大的存储容量,但由于存储容量已经被预留出来,其它应用无法利用这些已经部署却闲置的存储容量。这样往往造成存储资源浪费,增加初始采购成本。

中博集群存储采用自动精简配置技术,并不会一次性划分过大的物理空间给某个用户,分配给用户的只是一个逻辑的虚拟容量,只有当用户向该逻辑资源真正写数据时,才按照预先设定的策略从物理空间采用多次少量的方式分配实际容量,当分配的容量接近或达到配额时,系统会自动报警提示,再次从后端存储池中补充分配一部分存储空间。中博集群存储的自动精简配置技术,有效解决了存储资源的空间分配难题,大幅减少用户的初始投资成本,极大提高存储利用率,同时实现资源灵活分配,简化管理维护。
 
2、重复数据删除

计算机中存储了很多重复数据,这些数据占用大量硬盘空间,造成存储资源浪费。

中博集群存储的重复数据删除技术,是基于数据块级的重删,即通过智能删除相同的数据块,保证文件在各种状态下的高重删比,修改后的对象能再次参与后续的重删计算,为用户节约大量的存储空间,从而减少存储设备的购置,降低管理复杂度。
 
3、自动负载均衡

中博集群存储系统增加新的存储节点后,系统会自动识别并将新的存储节点加入集群,同时自动迁移数据至新的存储节点,自动分配负载压力至新的存储节点,自动的完成系统的负载均衡。如果有硬盘或存储节点出现故障,系统会发现并自动将故障节点踢出集群,同时在其他存储节点上恢复故障节点的数据,从而保证了整个存储系统的高度自治。

当数据读写请求产生时,中博集群存储系统可根据节点CPU核数、CPU主频、内存大小、网卡信息、当前CPU利用率、当前内存利用率、当前网络吞吐量等信息计算出集群中不同存储节点的权重值,使数据读写请求均匀分散到各个节点,避免产生性能瓶颈。
 
4、自动分层技术

很多视频网站都会积累成千上万的电影、电视剧、娱乐访谈等各类节目,像《爸爸去哪儿》这类很火的节目,会有大量用户点击播放;而有些节目并不是那么热门,只有部分用户去观看;还有些节目制作年代久远或者质量太差,几乎没有观众愿意访问。那么,如何存储那些访问热度不一的节目,让观众快速地实现各取所需。

中博集群存储采用自动分层技术,系统根据设定策略、按照访问频率、自动判断数据访问热度,访问较多的数据存放在性能较好的硬盘,访问量一般的数据存放在普通硬盘,长期不访问的数据就自动迁移到廉价硬盘上,从而保持系统整体最优的性价比。

具体产品详情可参考中博科创公司网站:http://www.zb-kc.com
 

未经允许不得转载:存储在线 » 海量数据存储技术(下篇)
分享到: 更多 (0)