http://www.dostor.com/t/Copyright(C) DoSTOR DoSTOR! Power by King2008-07-17 17:12:4320http://www.dostor.com/images/rss.gifhttp://www.dostor.com/http://www.dostor.com///o/e/2008-07-17/0003042054.shtmlDoSTOR专家博客--本文作者Henry Newman是国外专业存储网站的撰稿人，在高性能计算和存储行业从事了27年的顾问工作。重复数据删除是目前存储行业最热门的技术之一，用户和厂商们都很看好这种技术。有的厂商在开发硬件，有的厂商在开发软件，还有的厂商同时开发相关的软件和硬件。跟以前一样，我不打算对比不同厂商的产品或者技术，我只想谈谈你在考虑购买重复数据删除软件或硬件时必须向厂商咨询的一个重要问题，即数据损坏的问题。你可能会想，重复数据删除与数据损坏有什么关系呢，不用着急，我马上就给你解释。 但是必须说明的是，我是从通用硬件和软件的角度来写这篇文章的。有些厂商的产品也许可以或者不可以接近我在文中谈到的全部或者部分问题。 选购哪家厂商的产品以及向厂商咨询什么问题的决定权在你自己手中，笔者不承担任何责任。有些人也许读过我曾经写过的一篇关于我自己经历过的数据损坏的文章。 我稍微对比了一下正确的数据和损坏后的数据，数据的ASCII码发生了很大变化。实际上，大部分字节都损坏了。本文讨论的是数据不定期损坏的问题，并非一定会发生，即使是发生数据损坏事故的概率远低于廉价SATA的高端企业光纤信道驱动器也不能例外。 另外，发生问题的部件不一定是驱动器或者控制器，也可能是内存、CPU或者别的什么部件。归结为一点就是，数字世界中的数字资料肯定有可能会损坏。 虽然发生数据损坏事故的情况跟使用的操作系统、......技术前沿WangFei2008-07-17 17:12:15http://www.dostor.com///a/m/2008-07-17/0002842034.shtmlPliant Technology在Quantum公司创始人的带领下，秘密磁盘驱动器初创公司Pliant Technology凭借固态盘（SSD）技术跻身十大初创公司行列。 Maxtor和Quantum公司联合创始人Jim McCoy在两年前为了解决传统企业磁盘的性能瓶颈问题而创办了这家公司。McCoy现在担任着Pliant公司董事长职务，他打算让公司管理班子明白现在固态盘技术是非常流行的。Pliant公司首席执行官Amyl Ahola说：quot;它是一种新的闪存固态盘。 它的性能很高，特别是IOPs和带宽都比其他固态盘要高一些。quot;基于RAM的高端固态盘处理数据的最高速度大约为40万IOPs（每秒输入输出操作次数），比STEC的NAND闪存固态盘的处理速度快得多，后者只有5.2万IOPs。这是很大的差距，但是Ahola承诺以后Pliant的磁盘技术在性能上将更接近于DRAM。他说：quot;它以后将更接近于40万IOPs。quot;他补充说，Pliant已经开始同那些想使用3.5英寸驱动器的OEM厂商展开谈判。与传统磁盘驱动器不同，固态盘内部不含机械部件，从而可以减少驱动器实际运转过程中所需消耗的电能，许多存储器厂商如EMC和Sun很注重这个问题。固态盘市场肯定有发展潜力，但是Pliant必须做好准备与STEC等厂商竞争，后者已经与EMC签订了合作协议。Ahola解释说，......技术前沿WangFei2008-07-17 10:33:30http://www.dostor.com///n/e/2008-07-14/0001641921.shtmlDoSTOR存储在线 7月14日报道--SAN专家DataDirect计划今年将固态硬盘（SSD）技术添加到其S2A硬件产品中。尽管外部经济气候恶劣，但DataDirect正在准备上市。 Data Direct CEO Alex Bouzari表示，固态盘技术是分级理念的延伸，DataDirect将在今年第四季度提供固态盘技术，固态盘作为零层，SAS盘为一层，SATA盘为二层和三层存储。尽管Bouzari承诺，DataDirect将在未来的45天内制定好他们的最终计划，但他并未透露DataDirect将采用基于闪存的还是基于DRAM技术的固态盘。DataDirect的竞争对EMC已经在其Symmetrix系统中采用了来自STEC的基于闪存的固态盘，而Sun也宣布了他们闪存固态盘计划。DataDirect还将目光瞄准了云存储和Web 2.0领域。Bouzari表示，今年年底他们将推出几款与Web 2.0相关的产品，不过他拒绝透露具体细节。quot;如果我们能够进入应用层，并且与之更好地整合，我们就帮助用户提高他们网络变的效率。quot;届时，DataDirect还将发布云存储相关的产品，不过他也没有透露细节。虽然最近经济衰退不断恶化，并不利于技术厂商上市，但是DataDirect对他们的上市计划表现得十分乐观。Bouzari表示：quot;只要环境一有好转，我们就会抓紧时机上市。过去......技术前沿DoSTOR2008-07-14 10:52:03http://www.dostor.com///n/e/2008-07-11/0001641879.shtmlDoSTOR存储在线 7月11日报道--Cofio软件宣布旗下ViStor产品采用Hifn公司的Express数据缩减De-Dup（重复数据删除）卡，在屈指可数的硬件加速型De-Dup VTL产品中创下先河。VTL，又称虚拟磁带库，是备份软件的磁带驱动或磁带库，其本质是一个硬盘阵列。因此它能以磁盘速度而不是原来缓慢的磁带速度备份和恢复会话。尤其吸引眼球的是，借助VTL恢复操作可以直接针对某个文件进行，而无须按部就地读取整个磁带，因为硬盘是随机访问设备。如果利用De-Dup技术，重复的数据块能够被检测到并用指针替代，VTL的有效容量就能大大增加。虽然占用CPU资源较多，但是能够实现备份文件大小20：1甚至更高的缩减。由于每个备份会话中很多以前备份的信息会被重新备份，所以通常备份过程包含了大量的冗余信息。为了保持较短的备份窗口，De-Dup过程通常在备份会话结束后进行。Hifn的 PCI/PCIe卡通过硬件执行De-Dup功能，从而实现加速。Cofio称其ViStor 2.0 VTL 软件融合了Hifn的Express DR卡，以可负担的价格为中小企业(SME)提供企业级VTL性能。Hifn公司业务发展副总裁John Matze说：quot;控制数据增长和改善备份可靠性是中小企业IT运营面临的两大存储难题。Cofio的ViStor VTL融合了Hifn Express DR卡的优越性能......技术前沿DoSTOR2008-07-11 17:00:00http://www.dostor.com///n/p/2008-07-09/0001441685.shtmlDoSTOR存储在线 7月9日报道--Data Domain近日推出全新高端系统DD690，据悉该产品大大提升了in-line重复数据删除的性能，DD690系统吞吐量可以达到1.4TB/小时，是业界领先的在线重复数据删除产品，物理可用磁盘容量高达35.3TB。Data Domain表示，DD690不但减少了数据的重复存储，而且优化了磁盘的备份能力，使办公数据的自我保护能力得以大幅度提高。DD690有着可扩展的近线存储、便捷的一体化处理、多站点的灾难恢复，以及可靠恢复的超安全存储等众多功能特点。在吞吐量达到1.4TB/小时的同时， DD 690节省了99% 的容灾复制带宽，而且对每个数据序列只储存一次，这样也大大节省了数据储存空间。除了性能和容量提升，DD690系统的其他特性也引起了业内人士的广泛关注。如DD690可以同时处理60多个站点的复制任务，比DD580多了20个。用户可以基于DD690的硬件，选择VTL或者NAS版本；也可以将Data Domain的DD690作为一个网关，连接到他们自己的NAS或者VTL。Data Domain的相关人员表示，相比其他厂商的产品，DD690的一个重要特点就是：采用更少的磁盘驱动器实现更高效的重复数据删除。目前，已经有用户开始使用这款新品。美国奎格文特研究所(J. Craig Venter Institute)购买了DD690，从而让他们摆脱......技术前沿DoSTOR2008-07-09 09:49:04http://www.dostor.com///a/p/2008-07-01/0002641375.shtml在IT消费产品领域，已经有笔记本电脑厂商开始选用SSD（固态硬盘）来替代传统硬盘。从2007年7月IBM宣布在刀片服务器中首次采用SSD，到2008年1月EMC在高端企业级存储产品Symmetrix DMX-4采用SSD，再到2008年6月，Sun在服务器和存储产品中也开始支持SSD，SSD开始登堂入室，从消费产品领域跨入到企业级应用中。但从SSD依旧昂贵的价格、应用的限制等方面综合评估，SSD在企业级存储中的大规模应用还为时尚早。 优缺点都很鲜明 SSD最大的优点就是速度快。SSD的速度至少比传统硬盘快1个数量级（10倍）。这也决定了SSD的应用定位--需要快速处理海量信息的应用，比如电子交易系统、实时数据处理、主机交易处理等，其影响时间可达到毫秒级。EMC中国研发中心副总经理、软件总监李映举例说：quot;某信用卡公司采用EMC基于SSD的Symmetrix DMX-4存储系统，将过去处理欺诈探测信息的速度提高了6倍。quot;除了速度快以外，SSD的优势还体现在：SSD的内部没有机械装置，因而不会出现机械故障，而且噪音低、能耗少，其能耗只有传统硬盘的1/5~1/6，符合绿色存储的发展趋势。 在EMC之前，一些存储厂商已经把SSD应用于企业级存储阵列中，比如CURTIS、Qbisys等。SSD突破了传统硬盘的性能瓶颈，并且价格逐渐走低，因而SSD开始从军用系统、高性能计算等领域......技术前沿赛迪网2008-07-01 11:24:51http://www.dostor.com//http://www.dostor.com/subject/ssd080630/......技术前沿DoSTOR报道2008-06-30 15:57:06http://www.dostor.com///a/p/2008-06-23/0002641026.shtml全球许多地方，政府推出的监管规章要求各种机构把数据及资料放于互联网上，方便人们能迅速地获取所需要的数据。根据美国政府的相关规章，许多美国企业的数据一定要具有可追查记录的功能， 同时数据使用者的身份也必须得到核实和保护。虚拟磁带库有新意近几年，虚拟磁带机成了最方便使用和最有效的数据处理解决方案。虚拟磁带库将磁盘技术用于开放式的数据保护环境中，其优点是大大地减少了数据备份和恢复所需的时间，提升了数据备份的可靠性，改善了数据处理中心的效能，减低了磁带装备的要求，同时也减少了存储介质的成本。采用Overland Storage REO 系列的虚拟磁带库或独立的虚拟磁带驱动器和磁盘容量（LUNs）时，可以达到更高的备份灵活性。Overland Storage拥有专利的动态虚拟磁带技术能确保所有的储存空间被充分利用，同时可以避免人工操作的失误和麻烦。利用动态虚拟磁带技术， 用户可以根据数据容量的实际需要，随意把虚拟磁带机扩大或缩小，以达到更理想的数据备份效果。虚拟磁带库可以为用户提供比一般的磁带更可靠、更快速的数据备份。虚拟磁带库能为不同的企业减低管理磁带库、磁带驱动器和磁带的成本。所有的虚拟磁带库都运用磁盘作为媒介来执行数据备份程序，这样可以提高备份的速度，缩短备份时间。因为采用了磁盘，虚拟磁带库还可以实现更快的数据恢复。 重复数据删除不可少重复数据删除技术的出现改变了整个数据管理市场的发展......技术前沿DoSTOR2008-06-23 16:57:34http://www.dostor.com///a/p/2008-06-20/0002640963.shtmlDoSTOR存储分析 6月20日国际报道：固态硬盘（SSD）技术有望在另一种新技术的推动下获得突破性进展，据说那种新技术可以消除设备故障或停电之后的数据存取时滞。得克萨斯存储系统公司的Instant-On Input-Output可以让企业用户在固态硬盘启动之后迅速存取基于RAM的固态硬盘上的数据。在此之前，要想存取固态硬盘上的0.5TB的数据可能需要两个小时的时间。得克萨斯存储系统公司的销售工程师Jamon Bowen表示：quot;不管是维护工作还是停电事故，停机时间一直是用户所关注的对象。quot;这种技术还有一个好处，那就是它可以提高RAM的容量限制，目前，由于存储时间问题的存在，RAM容量一般都设定的比较小。Bowen说：quot;由于等待时间的关系，我们不能将容量设置得太大；但是现在，有了这种新技术之后，我们可以建立RAM容量更大的新系统了。quot;自从上个世纪七十年代末期以来，得克萨斯存储系统公司就一直在生产固态硬盘，大约在一年前开始开发基于闪存的固态硬盘。目前，公司并不打算对外授权这项技术，但是Bowen也没有完全排除这种可能性。固态硬盘通常被用来加快那些需要处理巨量数据交换的企业应用软件的运行速度，以及在不增加服务器、RAID或数据库调整的情况下增加员工之间的协作。去年7月，IDC公司发布了一份研究报过，预言这种技术的性能和与灵活性相关的必要条件将推动固态硬盘市......技术前沿WangFei2008-06-20 09:13:53http://www.dostor.com///t/d/2008-06-19/0026840954.shtmlDoSTOR存储在线--重复数据删除技术使数据归档时尽可能紧凑、简洁，不仅节省了存储空间，削减了企业成本，还可以降低能源消耗。 由于二级存储卷的不断增加，企业需要一种方法可以极大地减少数据卷。而很多法律法规的变化，也使得企业面临更大的挑战，被迫不得不改变他们原有的数据保护方式。通过重复数据删除，使数据归档时尽可能紧凑、简洁，不仅极大地削减企业成本，同时企业还可以将更多的数据在线保留更长时间。很多企业都希望将数据存储环境的成本效益和性能发挥到最优，而重复数据删除正是这样一种技术，因此很快吸引了企业IT主管的眼球。人们对物理搬运磁带的方式所面临的风险（损坏、被窃、丢失等）早已非常明了，而企业在进行远程存储时又特别重视关键信息的保护和风险最小化的问题，电子化传输无疑成为远程传送的最佳选择。在将备份数据以电子传输方式传送到远程站点进行归档时，重复数据删除能够使所需的带宽需求最小化。当用户在评估重复数据删除解决方案时，可以将下面的八条标准作为主要评估标准。能解决关键性问题：有效删除重复数据重复数据删除解决方案是否能够真正解决关键问题所在：有效的删除二级存储上的重复数据，是我们首先要考虑的问题。重复的备份数据会造成多次储存需求，只要重复数据不被删除，储存需求就会继续。 ESG集团2007年发布的报告用图表方式说明了备份向新技术发展的必要性。相对于一次全备份来说，增量和差异数据备份也可以减少备份......技术前沿Storage882008-06-19 13:14:16http://www.dostor.com///a/s/2008-06-19/0002740943.shtmlDoSTOR存储新闻 6月19日国际报道：惠普或许会在近期内提供新的基于磁盘的备份系统，并且将会具有重复数据删除技术，从而成为最新的一家进入增长迅速的重复数据删除市场的存储厂商。虽然惠普可能不会再未来的一周或两周内发布这款产品，但是在本周于拉斯维加斯举办的惠普技术论坛上该公司已经展示了这款产品。惠普表示，其重复数据删除技术可以提高磁盘利用率达50倍，目前，重复数据删除技术已经普及，因为其能够帮助用户花费更少的投资获得更多的存储容量，而Data Domain已经从重复数据删除技术上获得了极大的收获，其公司营收因此翻了一番。企业策略集团ESG的分析师Lauren Whitehouse表示，ESG在去年秋天的一项调查中发现，超过半数的受访者正在使用或计划使用文件级的重复数据删除技术，而只有三分之一的用户没有计划使用这项技术。quot;重复数据删除供应商对市场产生了很大的影响，他们用其备份和其它的磁盘系统为市场做了良好的教育，因此，我相信用户的兴趣正在增加。quot;这位分析师说到。惠普计划将提供两种重复数据删除方式给用户，但是却与传统的区分方式并不相同，惠普提供的两种方法分别为，旨在针对中小企业、分支机构及其它办公室用户的版本，这个版本将作为HP StorageWorks D2D Backup Systems (D2D)系列应用的附加功能提供给用户。而针对大型企业客户，惠普将提供具有重复......技术前沿Rob2008-06-19 10:04:13http://www.dostor.com///n/t/2008-06-02/0001540662.shtmlDoSTOR存储在线 高度虚拟化、基于公用的存储技术正在改变数据中心的运行方式和IT机构的存储观念。这些革命性的公用存储技术，包括精简配置和相关的精简复制应用，共同被视作quot;精简技术quot;。作为精简技术的业界开拓者，3PAR提供的精简技术能实现更高的灵活性、扩展性和性能，同时降低总存储成本。这些技术吸引了越来越多的眼球，它们带来的种种好处，远超出数据中心的预期。精简技术的初衷是解决存储利用率不高和容量过度分置的问题，然而它们的作用不仅仅在于降低总存储成本。通过降低对容量、能耗和空间的要求，3PAR的精简技术帮助减少了存储对环境的影响，在业界掀起了一场绿色存储的革命。解决方案3PAR的精简配置技术通过打破分配容量和购买容量之间的传统联系的方法来解决容量未充分利用的问题。借助于 3PAR 的 dedicate-on-write （即写分配）的性能，精简配置允许 IT 部门给应用程序一次性地分配超额的容量，大到应用程序全部使用周期中所能想象到的所需容量。与此同时，物理容量仅在需要的时才从总容量中随用随取。这就意味着，只有当应用程序真正为其写入的数据要求容量时，才从公共资源中抽取容量。精简技术的益处对于采用了精简配置和相关精简复制技术的公共存储用户而言，传统存储阵列每需要2.5TB容量，它只需要1TB的容量就能满足存储所需。由于这些精简技术具有高度的虚拟化和自动化特性，因此它们能......技术前沿DoSTOR2008-06-02 15:34:09http://www.dostor.com///a/p/2008-05-29/0002640617.shtml编者按：这个系列分为四个部分，本文是第一部分。该系列将对部署在重复数据删除解决方案上的技术和实施策略进行探讨。 第一部分将讨论重复数据删除的基本位置--独立设备、VTL（虚拟磁带库）解决方案或主机上的软件。第二部分将讨论重复数据删除的时机，也指在线处理和后处理之争。第三部分将讨论统一的重复数据删除和独立的重复数据删除，探讨两种不同方式的各自优势并进行对比：使用单一厂商的产品，并用同样的解决方案来处理所有次级数据；对不同类型的数据部署唯一的重复数据删除方案。第四部分将讨论性能问题。许多重复数据删除厂商将它们系统的数据处理速率夸大到难以置信的地步，我们将探讨如何辨别这些声明。重复数据删除市场的最初产品是基于特定的系统，专注于提升磁盘到磁盘备份解决方案的效能，并帮助组织减少它们对磁带的依赖。随着重复数据删除解决方案逐渐流行，一些主存储厂商开始尝试将该技术作为一种附加功能加在它们的产品上，最主要的就是虚拟磁带库产品。备份软件厂商也开始将该功能加到它们的解决方案上。现在，由于IT管理者们可以得到许多重复数据删除功能，因此新问题就是，重复数据删除流程应该放在哪里才是最好的？在你阅读的过程中，要记住，重复数据删除的主要关注点是次级存储--归档和备份，而不是主存储。同时还要注意的是重复数据可能一开始很不明显。例如，一个Oracle数据库可以用几种不同方式备份--使用内置的RMAN工具；使用一个组织......技术前沿Bill2008-05-29 12:49:33http://www.dostor.com///s/y/2008-05-26/0027540550.shtml客户背景EWP是韩国非常重要的大型电力供应商，为全国6个地区提供电力生产及供给，电力总装机容量约为9500兆瓦。目前，该电力公司还有两个1000兆瓦级电站正在建设当中。IT 环境Lines of Business(LOB) system 客户服务网站系统企业入口网站系统(Web EIP)EMC CX3-40 Storage SystemEMC NetWorker 7.3问题与挑战各个供电站的备份独立进行，万一发生灾难，没有异地灾备机制提供保护各站点间的网络带宽有限，无法承载大量复制数据传送各个供电站独立备份效率不佳，不易集中管理飞康解决方案飞康VTL虚拟磁带库+SIR重复数据删除解决方案效益大幅提升备份/恢复的速度与可靠性大幅减少备份磁盘空间需求通过既有的WAN网络实现多点对一集中备份与异地灾备，节省宽带租用成本大幅减轻备份管理人力负荷EWP是韩国能源行业的重要角色，也是助力韩国经济、社会发展的关键性企业。由于它的设施分布广泛而且都同样关键，IT部门深刻的意识到，企业需要一个智能的存储及数据保护平台，帮助搭建起新一代的IT基础架构和容灾站点，在发生系统故障或站点级灾难时保证企业的数据完整性和业务连续性（BC）。高速、稳定、低带宽的异地灾备，节省大笔IT支出飞康整合SIR重复数据删除技术的VTL为EWP提供了非常全面的备份优化解决方案。首先，将飞康VTL/SIR作为电力公司DR环境的......技术前沿DoSTOR2008-05-26 15:15:16http://www.dostor.com///o/e/2008-05-19/0003040407.shtmlDoSTOR存储专家观点：如果在一个理想的世界，企业战略集团的分析师Mark Peters希望能够看到固态（SSD）及传统的需要旋转的磁盘有如下的选择：quot;如果所有其他方面都是一样的，而你有两种选择，一种是旋转的设备，而且它会故障停止，另一种则不旋转，而且不会故障停止，那么你会如何选择？quot;，Peters问道，quot;如果你可以选择，一种是大型的、旋转的、嘈杂的、发热的、容易故障的设备，一种是截然相反，而且其他方面（甚至价格）都是一样的设备，那么你会如何选择？quot;固态磁盘和传统的需要旋转的磁盘的差别还很大，起码在价格上如此，这种问题是如此有吸引力，以至于吸引存储厂商有动力去开发新的企业级固态解决方案，而且在今年晚些时候你可能会听到很多关于一家名叫Pliant Technology的厂商的新闻。Pliant和Peters都看到了固态方案具有足够的优势，而且固态磁盘同传统旋转型磁盘的差距将随着时间逐渐减小。旧事物重焕活力30年前，StorageTek公司（现在是Sun StorageTek）开发了第一个固态驱动器。虽然这项技术看起来像是硬盘驱动器解决方案的替补方案，但是现在由于企业级客户对存储系统的速度、性能和完善性的需求，以及它们越来越对硬盘驱动器解决方案的缺点感到不满，因此厂商们在寻找新的方式来安抚--并吸引--这些客户，也因此固态驱动器又卷土重来了。固态驱动器......技术前沿Bill2008-05-19 00:27:00