中国数据存储服务平台

混合云存储:大数据应用的上云之道

企业数字化转型过程中,数据价值被显著放大,大数据应用成为不少企业探索的重点。

从技术上看,大数据业务由于数据体量大,且数据量很多时候呈急速膨胀状态;在进行大数据计算分析时,对资源的需求呈现浪涌式特征,又偶有突发性,因此通过上云充分发挥资源按需使用按需付费的优势,成为了不少企业在探索大数据应用时的常见模式。

这其中,企业在综合考量数据安全性、可扩展、可管理和成本效益等因素后,混合云部署的方式就成为了企业的主流选择。

近日,腾讯云存储高级产品经理贺永红在混合云主题论坛上发表演讲,详解了大数据应用上云的新思路。

一、企业自建大数据的难点

企业数据中心自建大数据业务,一般会遇到扩容的问题,随着大数据分析在业务价值挖掘上的作用愈加重要,新增及突发的分析任务越来越多,此时,趋于饱和使用率的硬件资源便会成为瓶颈,从提交预算申领设备到新设备加入分析集群通常需要较长时间(有时会超过一个月),这样会也导致大数据计算结果延期交付。随着时间推移,大数据中存储的数据越来越多,如何降低数据的存储成本,在需要的时候又能快速分析。

二、大数据混合云存储之道

大数据混合云存储将IDC大数据和公有云大数据连接为混合云,通过存算分离(计算与存储分离),实现计算弹性伸缩;通过数据全生命周期自动沉降实现存储低成本。

三、大数据混合云存储中的关键技术

  1. 存算分离

存算分离,计算与存储分离,计算基于标准HDFS协议访问存储,计算资源和存储资源各自按需扩容;计算资源可以分钟级按需创建及销毁,数据存储在COS(Cloud Object Storage)「https://cloud.tencent.com/product/cos」统一存储层,集中存储、统一管理。

存算分离,让数据存储在云中对象存储COS上,计算集群直接分析COS中的数据,计算资源专注于计算,按需实现弹性伸缩,按需创建及销毁,不用维持冗余设备来保存数据;通过计算与存储分离,实现计算弹性伸缩,按需创建及销毁,可以节约大数据20-30%的成本。

2.高效存储

存储资源COS(Cloud Object Storage)海量、无容量上限、无需扩容、按需供给,高效、平滑接入大数据生态、按需使用付费、通过生命周期策略自动沉降极致降低成本。

COS中存储类型分为标准存储、低频存储和归档存储,通过配置数据全生命周期策略实现自动沉降:经常访问的数据放在标准存储,较少访问的数据放在低频存储,基本不访问的数据放在归档存储,以上三种存储类型,价格不同,例如归档存储刊例价就不到标准存储刊例价的1/3,数据自动沉降后成本节约20-30%。数据沉降归档后,能及时回热,需要用的时候能及时被计算集群访问。

3.统一管理

云上云下的统一管理,一致使用体验;在数据面云上COS与IDC中HDFS统一元数据管理,实现全量数据ETL(抽取、转换、装载)。在技术面,云上和云下均采用大数据开源组件,接入大数据开源生态,保持一致使用体验。

4.数据高效流动

云下与云上的数据流动,这里主要包括两种数据流动。

其一、数据在IDC与云上COS间快速水平流动;用户每天可往云上COS灌入200TB+数据,基于COS海量并发设计,可进一步加粗上传管道,加速数据上云。数据下云,一般是结算结果返回到用户IDC,这部分数据量比较小,是从海量沙子里掏出的金子,不存在技术挑战。

其二、数据在EMR「https://cloud.tencent.com/product/emr」计算与COS存储间快速垂直流动,在EMR进行大数据计算时,需要在瞬间从COS中读取大量数据到EMR中进行计算,关键技术是COS的高性能,来满足数据的快速读写。

四、腾讯云大数据混合云存储实践

腾讯云大数据混合云存储方案,经历腾讯内部业务(微信、QQ、腾讯视频等)长期打磨而沉淀下来。

腾讯云大数据混合云存储,包括三层:混合大数据引擎、任务统一编排、数据开发平台:数据开发平台实现数据价值开发,包括用户画像、广告推荐等;任务统一编排实现大数据任务在IDC及云中全局调度及计算弹性伸缩;混合大数据引擎对IDC及云中大数据进行管理。

某头部游戏直播公司,大数据体量大,很早就成立了近百人的专业大数据团队,以支撑近百P规模的离线、实时流式数据的高效存储计算及数据科学探索。

其大数据架构如图,左边本地IDC,右边腾讯云 EMR ON COS,通过专线打通,数据互通,优先上传分析用到的数据,将数据导入到腾讯云COS中;基于存算分离,通过腾讯云EMR产品创建的Hadoop集群分析已导入到COS中数据。分析任务结束后,销毁EMR集群,不再产生费用,COS数据自动沉降进一步降低成本。

五、结语

腾讯云大数据混合云,能够实现大数据业务平滑上云,并实现对已有IDC硬件资源的合理利用,实现业务弹性伸缩,实现存储资源和计算资源的高效利用。

未来,腾讯云存储还将以业务场景为指引,推出更多高效的云存储方案,并结合生态资源,为用户提供更好的云上存储服务。

未经允许不得转载:存储在线 » 混合云存储:大数据应用的上云之道
分享到: 更多 (0)