存储在线DoSTOR存储分析 2月21日国际报道：设定Benchmark测试标准长期以来一直是存储厂商们争议的问题，最近Network Appliance公司的Benchmark测试标准将这个争论推到了新的高度。
事情开始于去年，当时NetApp公司开始决定将其FAS3040模块化存储系统作为Benchmark测试标准，和EMC CLARiiON CX3-40一起置于存储性能委员会（SPC）的Benchmark测试标准计划中。过去，厂商们只将他们自己的产品作为Benchmark测试标准。但是在这里，NetApp选择将其产品和来自EMC的产品进行比较，而EMC公司一直极力避免将NetApp公司的产品作为Benchmark测试标准。
SPC干事Walter Baker说，这个将竞争对手的产品包含进去的不寻常举动之所以还没有登上新闻头条是因为委员会没有任何法律义务来通知各个厂商这种举动或宣布该委员会成员的决定。
Baker说，该委员会的唯一要求就是厂商不能绕过法律规定，在没有厂商授权的情况下将一个产品排除出Benchmark测试标准候选列表。根据SPC的说法，NetApp在测试中遵守了这些规定和要求，并完成了SPC的审核流程。
虽然EMC没有说NetApp违反了法律，但是它确信NetApp在发布其评估结果上已经偏离了正常轨道。EMC全球营销首席技术官Chuck Hollis将SPC的Benchmark测试标准计划和NetApp的举动形容为"Benchmark测试标准营销"。Hollis说："对于我们来说，设定Benchmark测试标准和真实客观的测试非常重要。我们在研究和测试上投入了很多资源。而NetApp的测试结果只是一个基于廉价营销手段的噱头而已"。
NetApp通过SPC的SPC-1Benchmark测试标准，在快照技术激活和不激活的两种情况下，对两款SAN（存储局域网）产品进行了测试。快照技术被企业用于提供连续性保护和快速数据复制。
根据公布的结果，NetApp在性能上胜过了CLARiiON 。根据SPC准则，EMC有60天时间来挑战或保护Benchmark测试标准结果。而截至上周，SPC声称它还没有收到任何挑战要约。
出于几个原因，大部分行业分析师都对这个Benchmark测试标准结果无动于衷。一些人认为没有一个客观的组织来监督这场测试。另一个专家认为只是一次性的评估并没有多少实际意义。
Pund-IT的高级分析师Charles King认为这很大程度上只是一个"各说各话"的事情，因为受厂商资助的测试总是会有很多"回旋余地"。
King说："如果这是一次性行为，那么更多的是一个厂商在给另一个厂商泼脏水。但是如果这不是一次性行为，那么它可能会带来有趣的情势"。
而且这种情势正在逐渐显现。NetApp计划通过SPCBenchmark测试标准计划来一直测试其产品和EMC产品。NetApp的首席技术架构工程师Val Bercovici说："我们肯定会再做一次。我们的测试并不是孤立的"。
Bercovici说："EMC过去一直都在散布错误的关于我们产品的性能信息，而推崇它自己的产品，而我们都知道这是不正确的。它们使我们的产品性能受到质疑，因此我们决定将这些产品放到测试中，让消费者看看谁才是最好的。"
"我们证明，在有快照的情况下，我们的产品并没有任何性能瑕疵，而快照则明显影响了EMC产品的性能"，他说，"我们之间的竞争导致了这次Benchmark测试标准竞赛。我们只是想向客户传递正确的信息。"
"SPC可能只是开启了新时期的大门，而这将可能改变我们已知的Benchmark测试标准现状"。–Charles King。
从Hollis的角度说，他也很关注如何传递给客户以正确的信息。他担心不熟悉存储技术的企业可能分不清真实的Benchmark测试标准比较和营销宣传的分别。
"我们担心那些可能不太懂行的客户"，Hollis说，"这里有一个道德底线，而EMC不能越过这个。我们告诉新客户，我们将根据客户的实际环境来进行Benchmark测试标准测试，向客户展示我们产品中的真正的性能点是什么"。
King以及John Webster的分析师IIIuminata都关心SPC在Benchmark测试标准行为中的角色，以及该委员会允许这种竞争性测试的真实目的是什么。"我的问题是我们是否可以将这种测试看成是公正和独立的"，Webster在最近的专栏中写道，"虽然我们遇到以前未遇到的情况，即厂商X将其产品和竞争对手的产品放在一起进行Benchmark测试标准比较，但是SPC并没有对Benchmark测试标准公布的操作政策做出任何公开声明"。
EMC是IIIuminata的一个客户，但是EMC声称它和Webster的评论没有任何关系。
作为回应，Baker说Benchmark测试标准过程是公开和透明的。"很明显，他们并没有理解我们所做的事情"，他说，"完全公开并没有任何坏处，而我们正是这么做的"。
King奇怪为什么SPC会允许自己被"拖入"到这样的情况中。他说："SPC可能只是开启了新时期的大门，而这将可能改变我们已知的Benchmark测试标准现状"