中国数据存储服务平台

每年生成12万个数据库?这是和DBA前世有仇吧

相比传统备份,CDM(Copy Data Management)的门槛其实更高,在我看来,传统备份的研发难点在于兼容性的支持,各种数据类型、各种生产存储、各种备份介质等等,非常复杂。而CDM,除了对兼容性支持的开发之外,还要增加备份数据使用方面的开发。所以,CDM厂家,如没有比传统备份产品更大的投入,没可能给客户带来实际价值。

在备份数据的使用上,需要达到什么程度呢?

举个12万个数据库的案例。这是传统备份无需考虑、而CDM必须作为目标的场景。

在今年已经过去的9个月中,公司一直在处理一家客户的测试数据管理的项目,今天结合该项目中用户提出的需求,聊聊CDM在测试数据管理中的价值。

该客户在测试环境有1000个左右的源库(脱敏后的数据),库的类型包括Oracle、DB2和Mysql,OS类型包括AIX和Linux。

客户希望每个源库可生成10个副本库,副本库的平均更新频率为1个月,我们先来算算,1000个源库派生出10000个副本库,而这些库平均每个月要更新一次。也就是说 一年要生成12万个数据库。

生成数据库,如果采用传统的备份、恢复方式,需要准备存储空间、生成库、导入数据等等步骤,少算一点,一个库至少要一个人天,( 在实际环境中,很多用户是一周才能生成一个库)

12万个库就需要12万个人天,那么,就需要配置 12万人天/22/12=454个工程师才能完成这个工作量。

能干这活的,一般是DBA或备份管理员,成本不低,算40万元人民币每年吧。

每年人工成本是 40万元每人x 454人=1.8亿元

为什么没有企业能有非常敏捷的测试环境?为什么应用上线后Bug一大堆? 成本是根本原因, 没有企业能负担这个成本。

对安特飞CDM来说,数据服务是我们的专业,我们10年的持续投入中,数据使用是重中之重,通过安特飞,可以将454人缩减到几个人,因为:

1、一份CDM内的数据库数据(源库),可以生成N份副本后,分钟级挂载给服务器,并直接生成数据库

2、N份副本数据是可以不占用存储空间,即,在生成数据库时,无需准备存储

3、每份挂载的副本数据都可读可写,相互独立

当然,这只是安特飞CDM的基本功能,要完美的满足这个客户在测试数据管理方面的需求,还需要安特飞提供这些功能和服务:

1、 批量的、自动的把原副本数据库卸载,然后自动挂载新脱敏的副本数据库

批量的、自动的发起操作,只涉及开发量,不难。巨量的数据库能保证每次都成功卸载、成功挂载,这才是难点,非常考验产品的成熟度。

2、 操作要集成到云管平台

从集成的接口角度看,不难,RestFul API是行业标准,难点在于安特飞系统的CLI是否足够成熟和完善,无需为此客户做研发级别的定制

3、 挂载副本数据库的备份,以及恢复

光这一个需求,基本等同于,1万个数据库的传统备份项目的方案,1万个数据库的备份项目,呵呵,有几个人做过?或做成功过? 很难吧?

4、 保证挂载数据库的性能满足测试要求

测试对数据库是有性能要求的,一个源库生成10个副本后,如何保证副本数据库的性能?这对安特飞CDM本身、以及整体方案的设计能力(存储、网络等等)提出了非常高的要求。

还有很多其他方面的要求,就不一一赘述了,这些要求都会涉及到是否能以低成本、高效率的运维。

以上案例,主要是说明传统备份和CDM有多大的区别,同时也说明,安特飞可以处理多大规模的数据服务的需求

安特飞一直不认为自己是做备份的,我们是做数据服务的,这个案例可以充分说明这一点了。CDM产品功能的重点,和备份恢复有极大区别的。


有类似需求的朋友,非常期待您的联系,安特飞一定真诚而竭尽全力的为您服务。

安特飞,DBA的人生好友。

本文转载自: Actifio复制数据虚拟化,作者 :毛立峰

未经允许不得转载:存储在线 » 每年生成12万个数据库?这是和DBA前世有仇吧
分享到: 更多 (0)