EMC Avamar重复数据删除机制

EMC中文支持论坛 发表于:13年07月03日 00:49 [来稿] 存储在线

  • 分享:
[导读]Avamar是EMC的一款源端重复数据删除备份软件系统。Avamar在备份数据时,对于重复数据的判断是具有高度逻辑性的。本文将介绍Avamar重复数据删除的大致机制。

Avamar在备份数据时,对于重复数据的判断是具有高度逻辑性的。判断流程大致如下:

 

deduplication.jpg

1.     Avamar客户机遍历要备份的所有目录,并与本地文件缓存作比较来判断是否要备份的所有文件已经在本地文件缓存中有了。如果文件已经在本地缓存中有了,说明该文件之前已经被备份过,属于重复数据,那么Avamar就不会再备份它。

 

2.     如 果本地文件缓存中没有找到相匹配的文件,该文件会被分成多个可变长度的数据块。数据块会先被压缩,然后被哈希。哈希用于快速确定该数据块是否之前已经被存 储过。客户机会比较本地哈希缓存来确定是否该数据块之前已经被备份过。如果找到相匹配的数据块,说明该数据块之前已经被备份过,属于重复数据,Avamar就不会再备份它。

 

3.     如果本地哈希缓存中没有找到相匹配的数据块,客户机会将该数据块哈希添加入本地哈希缓存从而更新本地哈希缓存,并且询问Avamar服务器是否之前已经备份过其他客户机上的相同数据块。如果Avamar服务器上已经存有该数据块哈希,则说明已经备份过其他客户机上的相同数据块,该数据块属于重复数据,不会被备份。

 

4.     如果Avamar服务器上没有找到相匹配的数据哈希,客户机会将该数据块哈希和相应的数据发送给Avamar服务器。Avamar服务器会保存该数据块哈希和相应的数据。

 

通过以上流程的层层过滤,最后真正被Avamar备份的数据量显著减少了。这就是Avamar实现重复数据删除的大致机制。

[责任编辑:彭彦明]
阿明
最近两年NetApp在中国市场获得了纵深发展,而一直寄予厚望的Data ONTAP在6月中旬迎来8.2版本的升级,7月2日在京正式发布,对于有着90%以上软件公司属性的NetApp,从一开始就强调自己是从骨子里带有SDS(软件定义存储)的基因,而Data ONTAP8.2的出现,在一定程度上也再次引爆SDS。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.