前不久，IBM人工智能计算机系统沃森(Watson)在智力竞赛节目《危险边缘》(Jeopardy!)中表现突出，击败了该节目史上最优秀的两位人类选手，这期节目吸引了众多观众的关注。沃森是IBM旗下致力于对自然语言中的线索作出反应的DeepQA项目的成果，沃森在上述“人机大战”中的成功至少给了观众短暂的希望，让他们认为只要有适当的科技，迅速增长的数据就能够被驯服。

为了参加该比赛，沃森读取了2亿页结构化和非结构化内容，用掉了4TB存储空间——其中包括维基百科的全部文本。但是，政府、公司和研究机构以及使用智能手机、笔记本电脑和其他消费电子产品的个人每天产生的数据如此之多，与此相比，沃森摄取的知识也不过是沧海一粟。

比如说，沃尔玛每小时处理的顾客交易量达上百万次;Facebook上保存着500亿张照片;谷歌为处理搜索请求而在巨大的仓库中设置了数以千计的服务器;无线电子通讯的信息量正在爆炸式增长，其中一小部分还对国家安全至关重要。事实上，现今所存在的数据中，有90%都是在最近两年中创造的，如果说20 世纪之初的所有知识可以塞进一个鞋盒中的话，那如今的知识总量需要20个吉利体育场(Gillette Stadium)来装才足够。

随着社交网络、视频及互联网的崛起，这种增长趋势极为迅捷、永无止尽。那些试图分析这种爆炸式增长的数据，从中获得可资利用的商业情报，以在最关键市场的竞争中赢得胜利的企业，正面临着前所未见的巨大挑战。

因为海量数据为公司乃至国民经济和国家安全都带来了巨大的问题。金融危机是个再恰当不过的例子，2008年底全球金融系统正濒临崩溃，当时一位全球银行巨头的首席执行官正在出席财报电话会议，分析师多次要求他透露该行所持有的抵押贷款证券的金额。尽管过去十年来，该行在IT运营方面投入了370亿美元巨资，他还是只能羞怯地回应说：“我没有掌握这一信息。”

如果监管部门和银行巨头们能够精确地掌握他们受次级债影响的程度，我们或许就可以控制经济衰退，防止房地产市场经历30年来最严重的崩盘。

不出意料，信息管理业务——帮助机构理解这种日益增长的海量数据——正以惊人的速度发展。过去几年来，甲骨文、IBM、微软、EMC和SAP等公司已经投入了超过200亿美元，收购专长于数据管理和分析的软件公司。如今，该行业的市场规模估计已超过1,000亿美元，且仍以每年近10%的速度发展——几乎两倍于软件行业的整体水平。

信息量的庞大带来了巨大的管理风险，而其中多数数据的不良性质引起的问题更严重。如今，数据来源于一个交易、市场和社交媒体组成的复杂网络，而非仅仅来自公司自身的资源管理系统。许多数据都是草率生成的、令人误解的、夸张的或者根本是错误的，不良数据当然不是什么新鲜事，多年来，各大公司一直在努力清理有缺陷的数据文件。可仅仅这么做已经不够了，如今需要从源头上防止不良数据侵蚀商业环境。