作者简介

Larry Freeman 和 Bill May

NetApp 重复数据删除创立者

Larry Freeman和 Bill May 自从启动重复数据删除初期使用计划 (EAP) 的一年多以前开始，就已经广泛地与 NetApp 重复数据删除客户进行协作。从那以后，他们已销售了将近 2,000 套 NetApp 重复数据删除系统，并观察了无数个在各种环境下使用重复数据删除的客户实例。

Larry 拥有超过 30 年的 IT 和数据存储经验，专攻 SAN 技术、存储管理以及关键数据保护和保存。Bill 在联网存储和数据保护技术方面拥有全面的经验，经常主持各种研讨会、专题会议和简报会并受到大众的欢迎。

VMware 已成为我们见过的用于 NetApp 重复数据删除的最受欢迎的使用案例。与 Data ONTAP®7.2.2 一起发布重复数据删除之后不久，客户就开始报告在传统的 VI3 环境和新兴的 VDI 环境中对 VMware 虚拟机 (VM) 进行重复数据删除都获得了极大成功。自然地，我们想要详细地了解并研究他们为何如此兴奋。很快就有了答案：他们始终可以看到节省了 50% 或更多的空间，而对性能几乎没有影响。有些客户甚至能节省高达 90% 的存储空间。方法如下...

NetApp 重复数据删除

NetApp 重复数据删除的独特优势是它可以使用任何 NetApp 精灵卷（FlexVol® 卷）- 不管数据如何写入卷 - 并可方便地确定和清除该卷内的重复块。如果两个或更多块是相同的，我们清除重复块并更改数据指针，以便所有副本都重新指向单个数据块。

块的内容是什么或块属于哪个应用程序都无关紧要；如果块相同，则副本会被清除。这与其他重复数据删除产品形成强烈对比，那些产品主要限制用于单应用程序，例如备份。

NetApp 的另一个优势是可以重复删除现有数据卷。不必从一开始就运行重复数据删除。您可以对已经使用很长时间的卷执行重复数据删除，从而恢复大量的磁盘空间。

NetApp 重复数据删除如何运作

在卷上启用重复数据删除时，会创建一个数字指纹列表代表所有正在使用的块。这些指纹已经是 Data ONTAP 元数据的一部分，因此不必为每个块创建新指纹。通过比较这些指纹，可以比较容易地（即系统开销很低）确定哪些块是重复的。（对可能的重复项进行比较以确保它们确实是相同的。）然后，只需利用簿记更改参考指针并清除副本。

指纹只用于确定重复块；而不用于查询或访问数据。因此，数据访问仍然很快，不会因为数据重复删除过程而造成数据损毁。

另外，此基本流程与使用过十几年的 Snapshot^TM 技术流程相同：使用一个"物理"数据块表示多个"逻辑"数据块。在您需要回收存储空间的时候，将定期对卷执行重复数据删除进程。因为此过程开销很低，NetApp 重复数据删除可以在多种工作负荷下使用。

VMware 环境

VMware 是一种非常好的技术，通过将多个服务器合并为一个"虚拟"服务器来减少数据中心所需的服务器数。VMware 通过允许用户先为每个应用程序环境创建一个主模板，然后将这些模板"克隆"到许多 VM 映像来完成此任务。创建克隆以后，它们将作为"客人"同时安装在单个服务器上。通过虚拟化服务器环境，您可以更有效地利用您的服务器。

VMware 用户通常在每个物理服务器上运行六至十个 VM guest 操作系统，但是有些客户在单个服务器运行多达 70 个 VM。

图 1) 重复数据删除 VMware VM。

完美组合

虽然 VMware 通过合并服务器可以提供有价值的优势，但是它对于合并 VMware 克隆所使用的存储不那么有效。这就是为什么要使用重复数据删除的原因。

每个克隆的 VM 映像所需的物理存储空间与创建该克隆所使用的模板相同，但是它存在大量的冗余。这使它们很适合通过重复数据删除来缩减空间，但是因为 VMware 是主存储应用程序，用户不想在这些服务器上加入任何附加负载，这可能会降低最终用户读/写响应时间。

NetApp 重复数据删除可以解决此问题。因为它提供的重复数据删除对系统性能的影响最小，用户可以大幅度降低存放 VMware 克隆副本所需的存储容量，而不会影响业务工作流程。

这怎么可能？NetApp 重复数据删除是 Data ONTAP 及其 WAFL® 文件系统的固有部分。与其他形式的重复数据删除不同，NetApp 重复数据删除利用存储操作系统内固有的许多特性。不需要创建复杂的散列算法、不需要使用查询表来搜索和重构数据，在实际重复数据删除过程中也不需要重写数据。

所需的只是每个 4KB WAFL 块（已存在系统中）的小数字指纹、这些指纹的快速比较以及引用原始数据块的简单块重定向过程。然后将重复的数据块释放回系统。

NetApp 重复数据删除将作为低优先级在后台进程中执行。在 VMware 数据增长超出预定义的阈值时，此进程可自动运行，也可以计划它仅在合适的非峰值时间运行。

听起来不错，如何开始呢？

如要开始，首先必须将 NearStore® 和重复数据删除许可证添加到系统中。然后您可以使用简单的 CLI 命令在所需的卷上启用重复数据删除。这将触发在每个启用卷上收集指纹的进程。如果该卷上已有数据，NetApp 重复数据删除也可以有选择地扫描那些数据。启用重复数据删除后，只需设置您想要隔多长时间通过运行重复数据删除进程来减少卷空间使用。大多数客户在夜间运行重复数据删除，因为他们的日常数据更改率通常很低，因此重复数据删除进程的运行速度可以很快。