http://www.dostor.com/t/f/Copyright(C) DoSTOR DoSTOR! Power by King2008-07-17 17:12:4420http://www.dostor.com/images/rss.gifhttp://www.dostor.com/http://www.dostor.com///o/e/2008-07-17/0003042054.shtmlDoSTOR专家博客--本文作者Henry Newman是国外专业存储网站的撰稿人，在高性能计算和存储行业从事了27年的顾问工作。重复数据删除是目前存储行业最热门的技术之一，用户和厂商们都很看好这种技术。有的厂商在开发硬件，有的厂商在开发软件，还有的厂商同时开发相关的软件和硬件。跟以前一样，我不打算对比不同厂商的产品或者技术，我只想谈谈你在考虑购买重复数据删除软件或硬件时必须向厂商咨询的一个重要问题，即数据损坏的问题。你可能会想，重复数据删除与数据损坏有什么关系呢，不用着急，我马上就给你解释。 但是必须说明的是，我是从通用硬件和软件的角度来写这篇文章的。有些厂商的产品也许可以或者不可以接近我在文中谈到的全部或者部分问题。 选购哪家厂商的产品以及向厂商咨询什么问题的决定权在你自己手中，笔者不承担任何责任。有些人也许读过我曾经写过的一篇关于我自己经历过的数据损坏的文章。 我稍微对比了一下正确的数据和损坏后的数据，数据的ASCII码发生了很大变化。实际上，大部分字节都损坏了。本文讨论的是数据不定期损坏的问题，并非一定会发生，即使是发生数据损坏事故的概率远低于廉价SATA的高端企业光纤信道驱动器也不能例外。 另外，发生问题的部件不一定是驱动器或者控制器，也可能是内存、CPU或者别的什么部件。归结为一点就是，数字世界中的数字资料肯定有可能会损坏。 虽然发生数据损坏事故的情况跟使用的操作系统、......焦点技术WangFei2008-07-17 17:12:15http://www.dostor.com///a/p/2008-07-01/0002641375.shtml在IT消费产品领域，已经有笔记本电脑厂商开始选用SSD（固态硬盘）来替代传统硬盘。从2007年7月IBM宣布在刀片服务器中首次采用SSD，到2008年1月EMC在高端企业级存储产品Symmetrix DMX-4采用SSD，再到2008年6月，Sun在服务器和存储产品中也开始支持SSD，SSD开始登堂入室，从消费产品领域跨入到企业级应用中。但从SSD依旧昂贵的价格、应用的限制等方面综合评估，SSD在企业级存储中的大规模应用还为时尚早。 优缺点都很鲜明 SSD最大的优点就是速度快。SSD的速度至少比传统硬盘快1个数量级（10倍）。这也决定了SSD的应用定位--需要快速处理海量信息的应用，比如电子交易系统、实时数据处理、主机交易处理等，其影响时间可达到毫秒级。EMC中国研发中心副总经理、软件总监李映举例说：quot;某信用卡公司采用EMC基于SSD的Symmetrix DMX-4存储系统，将过去处理欺诈探测信息的速度提高了6倍。quot;除了速度快以外，SSD的优势还体现在：SSD的内部没有机械装置，因而不会出现机械故障，而且噪音低、能耗少，其能耗只有传统硬盘的1/5~1/6，符合绿色存储的发展趋势。 在EMC之前，一些存储厂商已经把SSD应用于企业级存储阵列中，比如CURTIS、Qbisys等。SSD突破了传统硬盘的性能瓶颈，并且价格逐渐走低，因而SSD开始从军用系统、高性能计算等领域......焦点技术赛迪网2008-07-01 11:24:51http://www.dostor.com//http://www.dostor.com/subject/ssd080630/......焦点技术DoSTOR报道2008-06-30 15:57:06http://www.dostor.com///a/p/2008-06-20/0002640963.shtmlDoSTOR存储分析 6月20日国际报道：固态硬盘（SSD）技术有望在另一种新技术的推动下获得突破性进展，据说那种新技术可以消除设备故障或停电之后的数据存取时滞。得克萨斯存储系统公司的Instant-On Input-Output可以让企业用户在固态硬盘启动之后迅速存取基于RAM的固态硬盘上的数据。在此之前，要想存取固态硬盘上的0.5TB的数据可能需要两个小时的时间。得克萨斯存储系统公司的销售工程师Jamon Bowen表示：quot;不管是维护工作还是停电事故，停机时间一直是用户所关注的对象。quot;这种技术还有一个好处，那就是它可以提高RAM的容量限制，目前，由于存储时间问题的存在，RAM容量一般都设定的比较小。Bowen说：quot;由于等待时间的关系，我们不能将容量设置得太大；但是现在，有了这种新技术之后，我们可以建立RAM容量更大的新系统了。quot;自从上个世纪七十年代末期以来，得克萨斯存储系统公司就一直在生产固态硬盘，大约在一年前开始开发基于闪存的固态硬盘。目前，公司并不打算对外授权这项技术，但是Bowen也没有完全排除这种可能性。固态硬盘通常被用来加快那些需要处理巨量数据交换的企业应用软件的运行速度，以及在不增加服务器、RAID或数据库调整的情况下增加员工之间的协作。去年7月，IDC公司发布了一份研究报过，预言这种技术的性能和与灵活性相关的必要条件将推动固态硬盘市......焦点技术WangFei2008-06-20 09:13:53http://www.dostor.com///t/d/2008-06-19/0026840954.shtmlDoSTOR存储在线--重复数据删除技术使数据归档时尽可能紧凑、简洁，不仅节省了存储空间，削减了企业成本，还可以降低能源消耗。 由于二级存储卷的不断增加，企业需要一种方法可以极大地减少数据卷。而很多法律法规的变化，也使得企业面临更大的挑战，被迫不得不改变他们原有的数据保护方式。通过重复数据删除，使数据归档时尽可能紧凑、简洁，不仅极大地削减企业成本，同时企业还可以将更多的数据在线保留更长时间。很多企业都希望将数据存储环境的成本效益和性能发挥到最优，而重复数据删除正是这样一种技术，因此很快吸引了企业IT主管的眼球。人们对物理搬运磁带的方式所面临的风险（损坏、被窃、丢失等）早已非常明了，而企业在进行远程存储时又特别重视关键信息的保护和风险最小化的问题，电子化传输无疑成为远程传送的最佳选择。在将备份数据以电子传输方式传送到远程站点进行归档时，重复数据删除能够使所需的带宽需求最小化。当用户在评估重复数据删除解决方案时，可以将下面的八条标准作为主要评估标准。能解决关键性问题：有效删除重复数据重复数据删除解决方案是否能够真正解决关键问题所在：有效的删除二级存储上的重复数据，是我们首先要考虑的问题。重复的备份数据会造成多次储存需求，只要重复数据不被删除，储存需求就会继续。 ESG集团2007年发布的报告用图表方式说明了备份向新技术发展的必要性。相对于一次全备份来说，增量和差异数据备份也可以减少备份......焦点技术Storage882008-06-19 13:14:17http://www.dostor.com///a/s/2008-06-19/0002740943.shtmlDoSTOR存储新闻 6月19日国际报道：惠普或许会在近期内提供新的基于磁盘的备份系统，并且将会具有重复数据删除技术，从而成为最新的一家进入增长迅速的重复数据删除市场的存储厂商。虽然惠普可能不会再未来的一周或两周内发布这款产品，但是在本周于拉斯维加斯举办的惠普技术论坛上该公司已经展示了这款产品。惠普表示，其重复数据删除技术可以提高磁盘利用率达50倍，目前，重复数据删除技术已经普及，因为其能够帮助用户花费更少的投资获得更多的存储容量，而Data Domain已经从重复数据删除技术上获得了极大的收获，其公司营收因此翻了一番。企业策略集团ESG的分析师Lauren Whitehouse表示，ESG在去年秋天的一项调查中发现，超过半数的受访者正在使用或计划使用文件级的重复数据删除技术，而只有三分之一的用户没有计划使用这项技术。quot;重复数据删除供应商对市场产生了很大的影响，他们用其备份和其它的磁盘系统为市场做了良好的教育，因此，我相信用户的兴趣正在增加。quot;这位分析师说到。惠普计划将提供两种重复数据删除方式给用户，但是却与传统的区分方式并不相同，惠普提供的两种方法分别为，旨在针对中小企业、分支机构及其它办公室用户的版本，这个版本将作为HP StorageWorks D2D Backup Systems (D2D)系列应用的附加功能提供给用户。而针对大型企业客户，惠普将提供具有重复......焦点技术Rob2008-06-19 10:04:13http://www.dostor.com///n/t/2008-06-02/0001540662.shtmlDoSTOR存储在线 高度虚拟化、基于公用的存储技术正在改变数据中心的运行方式和IT机构的存储观念。这些革命性的公用存储技术，包括精简配置和相关的精简复制应用，共同被视作quot;精简技术quot;。作为精简技术的业界开拓者，3PAR提供的精简技术能实现更高的灵活性、扩展性和性能，同时降低总存储成本。这些技术吸引了越来越多的眼球，它们带来的种种好处，远超出数据中心的预期。精简技术的初衷是解决存储利用率不高和容量过度分置的问题，然而它们的作用不仅仅在于降低总存储成本。通过降低对容量、能耗和空间的要求，3PAR的精简技术帮助减少了存储对环境的影响，在业界掀起了一场绿色存储的革命。解决方案3PAR的精简配置技术通过打破分配容量和购买容量之间的传统联系的方法来解决容量未充分利用的问题。借助于 3PAR 的 dedicate-on-write （即写分配）的性能，精简配置允许 IT 部门给应用程序一次性地分配超额的容量，大到应用程序全部使用周期中所能想象到的所需容量。与此同时，物理容量仅在需要的时才从总容量中随用随取。这就意味着，只有当应用程序真正为其写入的数据要求容量时，才从公共资源中抽取容量。精简技术的益处对于采用了精简配置和相关精简复制技术的公共存储用户而言，传统存储阵列每需要2.5TB容量，它只需要1TB的容量就能满足存储所需。由于这些精简技术具有高度的虚拟化和自动化特性，因此它们能......焦点技术DoSTOR2008-06-02 15:34:10http://www.dostor.com///a/p/2008-05-29/0002640617.shtml编者按：这个系列分为四个部分，本文是第一部分。该系列将对部署在重复数据删除解决方案上的技术和实施策略进行探讨。 第一部分将讨论重复数据删除的基本位置--独立设备、VTL（虚拟磁带库）解决方案或主机上的软件。第二部分将讨论重复数据删除的时机，也指在线处理和后处理之争。第三部分将讨论统一的重复数据删除和独立的重复数据删除，探讨两种不同方式的各自优势并进行对比：使用单一厂商的产品，并用同样的解决方案来处理所有次级数据；对不同类型的数据部署唯一的重复数据删除方案。第四部分将讨论性能问题。许多重复数据删除厂商将它们系统的数据处理速率夸大到难以置信的地步，我们将探讨如何辨别这些声明。重复数据删除市场的最初产品是基于特定的系统，专注于提升磁盘到磁盘备份解决方案的效能，并帮助组织减少它们对磁带的依赖。随着重复数据删除解决方案逐渐流行，一些主存储厂商开始尝试将该技术作为一种附加功能加在它们的产品上，最主要的就是虚拟磁带库产品。备份软件厂商也开始将该功能加到它们的解决方案上。现在，由于IT管理者们可以得到许多重复数据删除功能，因此新问题就是，重复数据删除流程应该放在哪里才是最好的？在你阅读的过程中，要记住，重复数据删除的主要关注点是次级存储--归档和备份，而不是主存储。同时还要注意的是重复数据可能一开始很不明显。例如，一个Oracle数据库可以用几种不同方式备份--使用内置的RMAN工具；使用一个组织......焦点技术Bill2008-05-29 12:49:33http://www.dostor.com///o/e/2008-05-19/0003040407.shtmlDoSTOR存储专家观点：如果在一个理想的世界，企业战略集团的分析师Mark Peters希望能够看到固态（SSD）及传统的需要旋转的磁盘有如下的选择：quot;如果所有其他方面都是一样的，而你有两种选择，一种是旋转的设备，而且它会故障停止，另一种则不旋转，而且不会故障停止，那么你会如何选择？quot;，Peters问道，quot;如果你可以选择，一种是大型的、旋转的、嘈杂的、发热的、容易故障的设备，一种是截然相反，而且其他方面（甚至价格）都是一样的设备，那么你会如何选择？quot;固态磁盘和传统的需要旋转的磁盘的差别还很大，起码在价格上如此，这种问题是如此有吸引力，以至于吸引存储厂商有动力去开发新的企业级固态解决方案，而且在今年晚些时候你可能会听到很多关于一家名叫Pliant Technology的厂商的新闻。Pliant和Peters都看到了固态方案具有足够的优势，而且固态磁盘同传统旋转型磁盘的差距将随着时间逐渐减小。旧事物重焕活力30年前，StorageTek公司（现在是Sun StorageTek）开发了第一个固态驱动器。虽然这项技术看起来像是硬盘驱动器解决方案的替补方案，但是现在由于企业级客户对存储系统的速度、性能和完善性的需求，以及它们越来越对硬盘驱动器解决方案的缺点感到不满，因此厂商们在寻找新的方式来安抚--并吸引--这些客户，也因此固态驱动器又卷土重来了。固态驱动器......焦点技术Bill2008-05-19 00:27:00http://www.dostor.com///a/p/2008-05-16/0002640382.shtmlDoSTOR存储分析 5月16日国际报道： quot;Tricryptionquot;方案可以对文件系统、数据库和存储器中的数据以及它们的密钥进行加密。Eruces Data Security公司已经为其三级加密和密钥管理方案申请了专利，这个方案可以确保数据在整个生命周期中的安全。 Eruces Data Security公司的三级加密技术首先用对应的密钥将数据进行加密，然后将密钥加密并保存在一个中央密钥管理库中。它还可以对数据与密钥之间的链接关系进行加密。 Eruces公司的软件开发高级副总裁Oggy Vasic说：quot;它可以将数据与密钥分开保存，并对两者之间的链接关系进行加密。quot; Vasic表示，Tricryption三级加密技术与其他加密技术不同，它可以将不同类型的加密数据的密钥管理集中起来，为每一个密钥配置单独的访问控制表，从而决定如何使用密钥、谁能够使用密钥以及多长时间使用一次等。因此，当一位客户要求使用密钥时，它首先会利用LDAP、PKI、Active Directory或者其他认证方式进行认证，或者根据它的访问权限进行认证。 他说，对密钥进行认证和授权是为了保护数据不会受到外部攻击和内部攻击。 当然，其他的加密厂商也提供了密钥服务器，但是Vasic指出，Tricryption三级加密技术的与众不同之处在于它是建立在均衡加密技术上的，每一个数据项都配备一个......焦点技术WangFei2008-05-16 11:10:43http://www.dostor.com///n/p/2008-05-13/0001440322.shtmlDoSTOR存储在线 5月13日国际报道 Data Domain推出全新高端系统并声称，该产品大大提升了in-line重复数据删除的性能。 据Data Domain称，今天发布的DD690，在单数据流(single stream)备份作业时，删除重复数据速度达170MB/s。而其之前的DD580系统，该速度为160MB/s。DD690可用空间（总容量减去做RAID的容量损耗等等）为35.3TB，DD580 则是21TB。如果用挑剔的眼光看，这些提升似乎有点quot;不疼不痒quot;，但是Data Domain意在借其与竞争对手一争高下，尤其是争夺那些尚未采用Data Domain产品的企业级用户。到现在为止，例如，Diligent（现已属于IBM）称其数据删除速率达200MB/s，对企业级用户似乎更具吸引力。其他竞争者，如Exagrid 声称：通过post processing（备份后再删除重复数据）的方式，自己的速度更快。 不过，只有经过实验室的测试，才能知道哪种说法是正确的。Inline和Post processing两大阵营的辩论已经进入白热化状态。Data Domain在容量上略有优势。除了性能和容量提升，DD690系统的其他特性也引起了大家的广泛关注。DD690可以同时处理60多个站点的复制任务，比DD580多了20个。用户可以基于DDX的硬件，选择VTL或者NAS版本......焦点技术DoSTOR2008-05-13 18:20:12http://www.dostor.com///n/t/2008-05-06/0001540199.shtmlDoSTOR存储新闻 5月6日国际报道：为了找到个别的档案或是电子邮件去搜索数以千计的备份磁带往往会耗费大量的时间并且花费昂贵，这也是为什么RenewData会推出采用了新技术的磁带处理服务，以帮助电子发现工作快速的梳理大量的磁带卷同时规避信息存储风险。RenewData开发了一项名为quot;single-passquot;的技术来处理备份的磁带，这项技术允许分割存储在多个备份磁带上的文件跨越磁带间的限制，作为一个整体来进行阅读，而不必让每个磁带都按照原来的顺序读取一次以上，而且，这项技术还能够处理那些孤立的磁带，尤其是那些原本属于一个组或是组成一个序列的磁带丢失的情况下的孤立磁带。当备份磁带的作用已经成为针对全系统恢复失败后的短期恢复的应用之后，人们现在往往会保留这些磁带很长一段时间，这些磁带于是也就在实际上成为了事实上的归档。而问题是，只有很少的资料能够靠日期和服务器名称来确定内容。通过采用quot;single-passquot;技术，RenewData不再需要为一组磁带给定一个目录，才能去处理，这意味着该公司可以处理部分数据不完整的磁带库，并且在一组磁带准备好之前就完成电子发现过程找到所需要的备份磁带。RenewData的市场营销副总裁Bob Little认为，这使得RenewData能够用更少的时间处理更多的磁带，RenewData可以帮助用户摆脱在此之前遇到的电子发现......焦点技术Rob2008-05-08 16:31:20http://www.dostor.com///o/e/2008-05-04/0003040167.shtmlDoSTOR专家观点：本文作者为Henry Newman，他是国外著名存储网站的负责人，在高性能计算和存储方面有27年的经验的企业顾问。看起来市场上好像是出现了一个新的存储技术--固态硬盘（SSD），然而，实际上它是由旧技术结合现在的闪存从而产生的固态硬盘而已。 大约在10年前，固态硬盘公司和固态硬盘驱动器是存储业界的一大热门，然而在2000-2002年间，它们的市场变得不景气，几乎退出了市场。有很多原因导致固态硬盘使用不便利，然而，为什么以闪存为基础的固态硬盘突然成为热点，这一代驱动器是否会走上一代固态硬盘的老路？ 早在八十年代中期，那时我在Cray研究所，我就开始使用固态硬盘了，因此，对于它的优缺点，我有长期的了解。我可以告诉你一些关于我是如何在无法运作的情况下使用固态硬盘的基准法则，正是这些准则带来了好的结果。我注意到最近供应商们在宣称固态性能如何好，我对于其测试环境很好奇，因为那些广告几乎好得不真实。当您买车时，至少会有人告诉你，你走行的英里可能会不同。闪存的成本比较高，那么它能够成为存储层的一部分吗？答案是肯定的。固态硬盘的性能也比磁盘驱动器的好得多。如果你采用的是标准的一万五千转2.5英寸的SAS硬盘，每个驱动器可以承担250个随机IOPS。网络搜索显示，固态硬盘供应商声称，写入IOPS数目要高得多--从10倍到高达72倍，而读取IOPS值则高达200多倍。这样可以节省......焦点技术Kate2008-05-04 16:27:20http://www.dostor.com///o/e/2008-05-04/0003040166.shtmlDoSTOR专家观点：本文作者为George Crump，他是Storage Switzerland 及 Storage Switzerland Events的创始人兼主席。在过去几年，数据精简技术，如压缩和最近的重复数据删除，开始流行起来，尤其是在备份和存档中使用。这一趋势是否会延续到主存储？ 在备份中，特别是有大量的冗余数据时，有一个广泛采用的数据精简技术mdash;mdash;重复数据删除。短短几年中，在数据中心里，重复数据删除已经从一个晦涩的术语变成了一个人所共知的词。重复数据删除消除多余部分数据的能力为备份储存和某些类型的档案存储带来了很大的好处。在备份数据方面，假设每周进行一次全备份， 120倍的存储效率并不鲜见。主存储是不同的不幸的是，移动重复数据删除到主存储并不是转移其位置这么简单。下面的提纲是主存储规划重复数据删除的特别要求： 1、主存储性能敏感。主存储是积极的，如因执行重复数据删除而影响了生产环境的性能表现，是不能接受的。重复数据删除技术必须是高效快速的，它不能影响性能，或者它必须这样做出来的波段上的文件不会立即活跃。理想状态是：在近线存储产生数据备份时进行重复数据删除，消除了任何可能的性能影响。这种技术重复数据删除和压缩水平不同，所提供的效率也不同--重复删除的水平越高，数据读回时对性能的影响越大。如果能有一个足够快的内置系统--既能减少数据，又不不影响性能-......焦点技术Kate2008-05-04 16:07:40http://www.dostor.com///a/s/2008-04-29/0002740122.shtmlDoSTOR存储分析 4月29日国际报道：如果上周的盈利报告代表了某种信号的话，那么应该就是重复数据删除现在已经是存储行业的大众技术了。虽然说重复数据删除技术是否能够很好地搭配存储架构，以及厂商的各种销售策略还有争议，但，这就是现在的情况。关于该技术能够给客户带来的醒目的投资回报倒是没有争议，而且实际上重复数据删除甚至都已经涉足到它的潜在市场。鉴于对高数据可靠性的需求以及企业替换磁带的需求在不断增长，分析公司R.W.Baird预计在2009年以前，优化后磁盘到磁盘存储市场的规模将从今年的2.5亿美元增长到10亿美元。毫无疑问，重复数据删除行业的厂商规模也在快速增长，无论是初始公司还是存储巨头都希望从中分一杯羹。Baird的分析师Jayson Noand说：quot;所有的固态存储厂商都将必须具备重复数据删除技术quot;。IBM公司是最近一个进入该行业的公司，它在两周前吞下了Diligent公司。现在IBM和Sun、HDS及EMC公司同台竞争。EMC已经收购了Avamar，而最近据传该公司也在同Quantum公司合作，甚至可能企图购并Quantum公司。在评价市场的领导者的时候，Noland认为Data Domain是目前的quot;佼佼者quot;。他说，该厂商的财务报告quot;表明它拥有良好的市场地位quot;。良好还只是一个保守的描述，Data Domain的第一季度收入达......焦点技术Bill2008-04-29 11:48:11