中国数据存储服务平台

华赛分布式数据仓库优化移动互连网基础架构

什么是移动互联网

移动互联网,就是将移动通信和互联网二者结合起来,成为一体。在最近几年里,移动通信和互联网成为当今世界发展最快、市场潜力最大、前景最诱人的两大业务,它们的增长速度是任何预测家未曾预料到的,由此推断,移动互联网将会创造一个新的神话。

在最近几年里,随着3G、4G通信技术的不断发展,人们的生活水平和生活质量不断提高,移动互联网已经成为当今世界发展最快、市场潜力最大、前景最诱人的业务。迄今,全球移动用户已超过15亿,互联网用户也已逾7亿。中国移动通信用户总数超过3.6亿,移动互联网用户总数则超过1亿。这一历史上从来没有过的高速增长现象反映了随着时代与技术的进步,人类对移动性和信息的需求急剧上升。越来越多的人希望在移动的过程中高速地接入互联网,获取急需的信息,完成想做的事情。所以,移动互联网的趋势是历史的必然。目前,移动互联网正逐渐渗透到人们生活、工作的各个领域,短信、图片铃声下载、移动音乐、手机游戏、视频应用、手机支付、位置服务等丰富多彩的移动互联网应用迅猛发展,正在深刻改变信息时代的社会生活,移动互联网迎来了新的发展高潮。

移动互联网基础架构建设面临的问题

随着3G、4G通信业务的迅速开展和广泛使用,移动互联网逐渐迈入一个全新的时代,通过移动终端连接互联网的用户越来越多,在用户访问互联网时,需要进行复杂的协议转换和访问调度,在此过程中很多操作和事件需要以日志的方式记录下来,传统的方式采用SAN+数据库服务器+数据库软件来存储这些日志。伴随着移动互联网的发展,需要记录的内容越来越多,传统的存储方案越来越显得力不从心。采用传统方式处理处理移动互联网协议转换和访问调度室,面临以下几个方面的困难:

1、数据写入缓慢,当数据库中的数据逐渐变多时,数据写入时索引更新越来越慢;

2、数据查询延时长,通常的关系数据库都会存在一个数据记录的阈值,当数据量接近、达到或超过该阈值时,数据查询的效率急剧降低。查询时间由毫秒级延迟到分钟级;

3、管理越来越复杂,建设的存储系统数量越来越多,当一套存储子系统(含SAN存储设备、数据库服务器、数据库软件)无法满足业务要求时,将改为建设多套存储子系统,导致管理复杂度不断增加;

4、需要手工进行数据生命周期管理,数据只需要保存一定时间周期,因此需要定时手工完成数据的老化和淘汰。

优化的云存储分布式数据仓库方案

华为赛门铁克为中国移动提供的CSS云存储解决方案是华赛自主研发、业界领先、可落地的云存储产品,可面向海量、快速增长的数据存储需求。CloudStor CSS云存储具有如下特点:

—提供标准的Java、C++ API接口,可应用于多种类型的集群应用;

—提供简化的JDBC接口,满足SQL92相关规范;

—支持PB级的存储容量、10GB级的I/O吞吐量和数以千计的客户端,通过动态增加云节点从而增加存储容量和I/O吞吐量;

—将海量存储节点进行虚拟化和整合,就如同使用普通PC构建“超级计算机”一样,构建出强大的存储服务能力。

方案的优势与客户价值

分布式并行存储与检索,提高系统性能

此次中国移动选择的局点是Wap网关、彩信中心业务压力最大的局点。该局点数据量多、处理能力接近6万TPS(每秒处理上网请求数),每天将产生约3.5亿条话单记录(每条话单记录即是一行数据库记录),累计数据量达数千亿条记录。

CloudStor CSS通过分布式并行存储技术,将多个存储节点整合为统一的资源池,从业务层面看所有的存储节点是一个统一的存储空间(即统一的表空间),云存储内部通过大量节点并发读写向业务提供服务,通过将海量的数据读写请求分发到多个节点,以满足业务高性能小IO写入的需求。通过存储云化改造,存储系统对业务数据的吞吐量提升了数倍,系统还可通过增加云存储节点方式进行横向扩展(Scale-out),进一步提升存储系统的数据吞吐量。

CloudStor CSS通过多级索引机制,建立系统和节点两级索引,当业务系统发起查询请求时,通过系统级索引迅速过滤掉大量无关数据,将查询条件下发给多个符合该条件的存储节点,节点内通过本地的二级索引进行进一步的快速数据查询,同时系统协调多个节点上的计算、存储能力进行分布式的并行处理,从而极大缩短数据查询时间周期。

统一资源池,降低TCO

中国移动原有的Wap网关、彩信中心采用烟囱模式各自独立建设,每一套业务系统需要单独的一套存储系统,导致资源利用率低、难以统一管理。

通过此次云存储试点改造,CloudStor CSS提供的统一存储资源池将两个业务的存储进行整合,使业务按需使用存储资源,从而帮助中国移动提高存储资源使用率,降低设备采购成本(CAPEX)。同时CloudStor CSS通过统一管理、分权分域、自动化管理等多种技术,帮助中国移动简化存储管理,降低运维管理成本(OPEX)。

自动化的数据生命周期管理

中国移动Wap网关、彩信系统中的话单数据,通常在存储一定时间后数据的使用价值将降低,传统方式情况下需要手动对这些数据进行老化淘汰操作。而CloudStor CSS采用基于策略的自动化技术,根据用户给出的特定策略自动完成数据生命周期管理,包括:数据可靠性级别调整、数据淘汰等,再也无需用户手工干预。

降低运维管理成本

采用大量的自动化运维管理技术,包括:自动部署、自动升级、故障自动隔离、数据自动修复等,帮助用户减少日常运维工作量,人均运维管理效率提升数倍,帮助用户降低运维管理成本。

良好的扩展性

系统支持横向扩展(Scale-out),扩容时系统存储能力与处理能力同步扩展,当业务数据飞速增长时,可同时满足业务对存储容量和存储性能的要求。

未经允许不得转载:存储在线 » 华赛分布式数据仓库优化移动互连网基础架构
分享到: 更多 (0)