曙光海量数据处理平台XData系统

任新勃 发表于:12年10月10日 14:36 [来稿] 存储在线

  • 分享:
[导读]随着信息技术的不断发展,大规模数据密集型应用系统数据量呈现指数级上升的趋势,这其中主要有两方面的原因:(1)数据的产生和获取手段变得越来越先进,比如来自各种各样的传感器网络/物联网的数据,互联网/移动互联网终端的数据,以及各种数码设备和智能终端产生的数据等;(


随着信息技术的不断发展,大规模数据密集型应用系统数据量呈现指数级上升的趋势,这其中主要有两方面的原因:(1)数据的产生和获取手段变得越来越先进,比如来自各种各样的传感器网络/物联网的数据,互联网/移动互联网终端的数据,以及各种数码设备和智能终端产生的数据等;(2)对数据的处理要求也越来越高,包括对数据库中结构化数据的查询,文本检索以及音频视频等非结构化数据的检索等。在这两个方面的原因的推动下,迎来了数据爆炸式的增长,业界称之为“大数据时代”的到来。大数据时代,信息越来越成为国家和企业发展的战略资产,大数据分析和挖掘也为长远发展提供了决策支持的基础。

XData系统是曙光公司立足于当前大数据处理的时代背景下,自主研发的通用海量数据处理平台。XData系统支持对海量的结构化和非结构化数据的高速写入,按照语义的存储组织,以及查询检索和统计分析。XData系统将数据存储单元和处理单元分离,通过构架高效的服务中间件,将底层采用无共享(shared-nothing)结构的数据存储节点,聚合成一个单一的数据处理系统映像,达到较高的数据读写并发度,计算并发度,以及良好的系统扩展性,可靠性和可维护性。

XData对外提供统一的类JDBC的客户端编程接口,向下管理分布在不同存储节点上的不同类型的数据,并提供简易的用户管理界面。XData系统的核心技术包括自动的服务注册和负载均衡,可扩展的数据划分和分布策略,高效的批量数据加载,通用的并行查询分析和处理引擎,结构化和非结构化数据的统一访问驱动,不同类型数据之间的联合查询和检索,以及全方位的系统故障和恢复处理等多项技术。

XData海量数据处理系统可以广泛的应用在通信数据统计,互联网/移动互联网的日志和用户行为分析,物联网/传感器网络的数据监控和追踪分析,以及金融交易数据的离线统计和挖掘等众多领域。

[责任编辑:任新勃]
任新勃
“恩,他们在下很大的一盘棋!”首先说明这个绝对不是标题党,也绝对不是无的放矢,更没有讽刺谁的意思。绝对绝对是一个褒义词。从EMC五月份发布ViPR系统,到NetApp发布其新的NetApp Connect应用程序,HDS升级HCP架起了确保企业之间BYOD文件管理的桥梁,再到NETGEAR发布全新ReadyNAS OS6.0系统。美国初创公司Pure存储,大力发展闪存阵列以及升级POE3.03.0软件,给存储巨头带来压力。
官方微信
weixin
相关阅读
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.