存储在线DOSERV服务器在线 9月10日原创报道： 你是否想到，我们今天急于解决的大数据问题，正是由我们一手创造。
2011年11月11日，这是一个被戏称为“光棍节”的日子，而有趣的是，由于出现了多达六个“1”，这个“光棍节”更是被称为“有史以来最大的光棍节”，但真正让这个日子变得独特的，却不是这个六个“1”，而是淘宝商城在这一天史无前例的“双十一光棍节”促销。
根据淘宝商城官方市局显示，11月11日当天支付宝交易额突破33.6亿，自当天零时到上午10点06分，淘宝商城共计产生了1500万比订单，而当全天的交易量数字得到证实后人们更是大吃一惊：双十一光棍节促销当天，淘宝商城交易量为去年同日的近4倍。而据淘宝商城市场部整合营销部负责人魄天透露，淘宝商城的手机无线支付交易额在促销当天突破1亿元大关。
而与此相关的数据还包括：双十一促销话题在新浪微博上产生250万条话题和评论，700万条相关搜索结果；某物流公司承接双十一订单日发货80万单，最后总计180万单；11月1日促销前10天，同淘宝商城合作的国内快递企业调集了共40万人参与后续的物流配送环节。
这是一次淘宝商城的狂欢，也是一次商家与消费者的狂欢，更是一次大数据的狂欢。在数十亿的销售额、数百万近千万的手机终端下单、数千万的双十一销售订单以及40万物流行业配送人员的背后，是由大数据所勾勒出的一条“数据链条”：从消费者的手机下单、物流公司配送、淘宝全程物流信息显示、消费者收货以及快递员利用终端机反馈送达信息，数据充斥在整个淘宝商城的促销活动中，而在淘宝商城及其物流合作伙伴的信息反馈过程中，我们看到了物联网和移动终端所创造的“大数据”。
如果你对淘宝网及淘宝商城的服务了解的话，你一定会注意到他们方便的手机下单和物流跟踪服务。
如果你有一部能够接入网络的智能手机，你就能轻松的通过手机完成从查询搜索、确认下单、安全支付、跟踪物流、评价或是退换货等一系列的流程，这也使得淘宝系电商的消费者中，使用手机移动下单和支付数量不断攀升新高；如果你想及时了解到你所购买的“宝贝”的运输情况，你会发现，物流供应商把从商品签收、当地分发、铁路航运起飞到达、到达地分拨中心、配送物流人员安排等一系列信息提供给你，其时差往往只在几个小时。
当最后，顺丰或是申通的快递员，在你面前拿出移动终端，敲敲点点的几下之后，你就会发现整个物流配送流程已经完成，就是这么几下，他便完成了快递配送的整个流程。而你的名字，会出现在淘宝物流信息页面中，上面会显示：XX时XX分，收货人XXX，本人签收。
这是一个奇妙的、快速的、让你倍感顺畅的过程，但你是否想过，这一切有赖于移动终端（智能手机或是其他的智能终端）、有赖于日益完备的物联网技术，有赖于物流企业、淘宝商城以及支付宝在大数据处理方面，行之有效的解决之道。
不止是网上购物，几乎我们的每一次行动，都在为大数据添砖加瓦
物联网与移动终端：信息与物理世界进一步融合
在大数据时代，信息产业所产生和处理的信息与数据日益庞大，创造他们的不再是我们的电脑或是某些服务器，信息与数据被物理世界不断的创造出来，并被物理世界和生活在物理世界中的我们所接收、处理与利用。这就是大数据时代的最大不同：他更贴近我们的物理世界，更贴近我们的真实生活。大数据，正是被我们的物理世界与真实生活所创造。
如果说，我们以前只能够坐在电脑前或是身处数据中心，才能够创造数据，那么，现在的世界已经大为不同。一辆货车、一部智能手机、一个POS终端或是一个小小的RFID标签，都蕴藏并不断产生着数据，而与我们紧密相连的，就是日益发展的物联网与移动终端。
先谈谈物联网。这不是一个新的概念，最开始的理念是把一切生活相关的设备、物品或是流程，都连接在互联网上，以“物”而不仅仅是“人”作为互联网的节点，但随着物联网的不断发展，我们发现了更大的机遇和挑战。
信息的迅速膨胀远远超出人类自身的感知和信息处理能力，未来人们迫切建立在精密感知能力和海量信息处理能力之上的智能技术，这正是物联网的发展方向。物联网不再仅仅是一个概念、或者说不仅仅是一个发展理念，而正在演变成为政府的行动纲领，以及资本市场的投资方向。
物联网是大数据的主要来源，而物联网是智能城市-智能的物理世界的基础。
物联网领域的大数据符合大数据时代的三个重要特征：1、大量终端产生大量的数据；2、物联网终端往往产生的半结构化或非结构化数据；3、物联网的数据只有被分析才有真正的意义。
随着物联网的普及，越来越多的“物理”数据——来自设备和物理世界的数据——成为可用，像是危险基础设施的监控、环境感知、智能家居、楼宇信息与能耗、汽车与交通运输设备、智能电表或是每个人都有的移动设备，加上越来越多的无线传感网，物联网的普及让越来越多的数据接入到信息世界当中，进一步紧密的联系了信息世界与物理世界。
并由此，我们看到大量基于这些大数据的利用、大数据的分析的应用在不断涌现。我们通过这些物理世界信息的互联与分析，能够像上面说的一样跟踪货物、了解交通信息、实现本地及社交服务、照顾家人的安全与健康、了解汽车的情况与驾驶状况，甚至构建更加智慧的城市。
可以看出，物联网进一步的催生了智能城市，智能城市进一步催生了更大的数据集合。
在学术界，物联网所带来的大数据问题同样引起了重视，据介绍，中科院自动化所把物联网中的‘大数据’智能处理与分析技术作为研究所战略发展方向之一，定位于研究‘大数据’关键问题，推动‘大数据’产业发展，并进行了长期、广泛的基础性研究。
而在移动终端方面，除了物联网领域的那些如物流企业终端机、移动POS刷卡机之外，最重要的就是无处不在的智能手机。有调查显示，中国智能手机用户的月均数据网络流量达到了95.5MB，而根据预测，到2016年移动互联网的流量将比2011年增长18倍以上。而更为夸张的数据显示，在3G应用及移动互联网成熟度更高的美国市场，智能手机用户的数据网络用量平均已经超过每月400MB。
仅从数据上来看，你就会看到移动互联网、移动终端所带来的巨大的数据流量——我们很难在身边找出一个没有智能手机、不用手机上网的人——而每个人接近百兆的月均流量，可想而知在中国市场意味着什么。在数据流量激增的同时，却又有更多的数据类应用出现，进一步让移动终端成为大数据浪潮的主流声音。
据此前中国东方航空股份有限公司信息部总经理严振红向媒体表示，航空业现在大量利用互联网，尤其是移动互联网，像是东方航空这样的信息成熟度较高的航空公司，在电子客票、网上值机、客户体验、VIP客户服务以及常旅客等等方面都借助移动终端和移动互联网。而在应用方面，以东方航空为例，其已经建立了移动应用开发平台，面向所有的移动终端平台开发应用，其Android版本的应用已经上线，并服务于东方航空每日穿梭在全球各地的乘客。
很显然，移动终端不仅限于智能手机，据迅雷网络技术有限公司无线事业部总经理何意在8月4日的MacWorld2012数字世界亚洲博览会上表示，迅雷有接近50%的用户时iPad用户——而不再是传统的“PC用户”——这些用户不停地在分享视频、创造视频，算上所有的平板电脑的用户，产生了大量的数据上传和数据访问，这也是移动互联网对大数据时代产生的一种影响。
无论是智能手机还是平板电脑，无论是移动终端还是移动POS机，移动网络所创造的数据量随着这些设备在我们生活中所占比重的增加在不断增加。而正是这些设备，帮助我们把信息世界、数据海洋与我们的生活联系起来，让原本属于虚拟世界的信息、数据与物理世界更加融合，但这也创造了新的大数据时代特征与挑战。
物流企业：最深刻的体会者
在物联网与移动终端的结合上，物流企业可能是最有发言权的。一家规模化的物流企业，拥有大量的“传感器”：RFID标签、货车上的GPS定位与车况传感器、各个仓库及货运中心的联网设备等等这些都是物联网的“物理设备”与产生数据的“传感器”。
与此同时，每一个快递员手中的POS刷卡机、移动终端，开放给用户安装在智能手机上下单、评价App（应用）以及不断为收货/发货方手机上传递实时信息，这些移动终端及移动技术的应用，让物流企业也同时拥有与移动终端相关的大量设备、服务与业务流程。
可以说，物流企业正是大数据时代下，受到物理网与移动终端影响最大的行业。而也正是在信息化越来越深入、数据与信息越来越重要的这个时代，IT已经成为物流企业的核心竞争力与转型基础。
而由物联设备、移动终端以及用户创造的大数据，也正在影响着每一个物流企业的IT系统的发展，并继而影响了物流企业的转型计划。
总的来说，大数据有四大挑战，但不同的行业也有不同的大数据特征。
“2010年，我们建立统一旅客数据库，保留旅客的偏好信息，随着东方航空推进转型，我们希望这个系统发挥巨大的作用。同时，不仅是我们自己的系统，更要是合作伙伴的系统、流程和信息，都要实现集成和交换。”严振红表示，东方航空近几年正在打造全新的战略，朝着“综合的服务提供商”的方向转型：从以前的客运航空供应商转变为旅客服务集成商，从货运航空运输商转变为航空物流服务企业。
很显然，这不仅仅将创造巨大的旅客信息数据库，也意味着有大量的数据流动在东方航空及其合作伙伴的网络上。而随着客运与货运同时向服务业转型——正如上面所说——更好的利用IT，更好的利用业务流程中那些物联设备、移动终端所产生的大数据，将对针对用户的个性化的、细致周到的服务有着至关重要的作用。
而一些物流行业的先行者。国内已经有比较高端的物流公司，通过GPS ONE或GPS定位技术，针对携带定位手机的人员或配置专用终端的车辆，向客户提供实时监控调度、历史轨迹查询、语音导航、特殊人群跟踪、位置信息查询功能的全天候全覆盖的个性化定位服务，这就是位置服务。
对于物流企业来说，基于精准定位、高精度室内定位和快速定位的三大优势，可以实时跟踪物体最新状态信息，如货物运到哪里了、是否丢失等等。在家用汽车进入物联网之后，甚至可以实时查看汽车的所在位置和油耗等运行状态。
所有这些，所有这些流程中的移动设备与物联设备，都产生了巨大的数据。而这些数据同样符合大数据时代的三大特征：
1、数据量随着企业的业务量与IT水平的发展不断激增；
2、承递物品签收、客户单据签收的图片，货运卡车的实时行车视频，这些都是非结构化数据，也同样在激增；
3、更好的分析这些数据，比如说某一个频繁交付快递的公司是否有时间特征，能够更好的合理安排物流企业的资源，这也就是说，对数据的分析处在非常重要的位置。
物流行业是大数据的创造者，但却可能是大数据的分析和应用的最大受益者
这就是我们在大数据时代所要面临的最大挑战：我们需要无缝连接所有的数据，让数据“流动”而不是被固定在某处；我们需要快速的分析数据，并将所有的数据共同加以考虑，让数据“融合”而不是被分割在各处；我们需要迅速搭建大数据平台并马上着手分析数据的价值，让数据“瞬捷”可用而不是静候在某处。
治理大数据第一步：行之有效的基础设施平台
“罗马不是一天建成的”大数据也不是一天、一周或是一个月就能够解决的问题，总的来说，解决大数据的问题是一个长期的过程，需要对大数据的发现、流动、存储、分析以及长期保存等各个方面加以考虑，这意味着从平台建设的角度来说，需要考虑的“完整的、适合整个大数据生命周期”的软硬件平台。
从上面的情况我们不难看出，对于物联网与移动终端——其实也适用于其他的行业应用——大数据需要一个统一、融合以及无缝衔接的，平台，企业需要无缝连接所有的数据，包括无线传感器、移动终端等等不同数据源的数据，从而让整个企业业务流程中的数据被统一存储和分析。
另一方面，既然是大数据，其对服务器与存储的性能压力自然也变得更大，企业需要性能更强劲的服务器以及更快速的存储系统，但与此同时，这并不意味着在大数据时代，我们能够放松对能耗与空间的重视，否则随着数据越来越“大”，难道我们必须无休止的去增加IT所需的电力和数据中心的空间？这显然是一个不能接受的命题。
我们需要这样的一个硬件平台：高性能、无缝扩展、低能耗、开放以及极高的性价比优势——这正是IA架构在过去三十年不断给与业界的“礼物”：以英特尔为代表的x86（IA）架构平台，已经洞察到了上述大数据来临和发展的趋势，并为此作好了充分的准备。
IA架构的计算能力自不必说——高性能意味着物流企业更快的制定运输线路和更快速的运输速度。
以英特尔至强E5系列处理器为例，其性能在每一代产品上，都能够得到高达80%的提升，其性能水准在全球高性能计算500强中得到充分的体现。而在提供如此高的性能的同时，至强E5处理器的能耗却有50%的降低，这使得企业在建立规模化的大数据处理平台——往往是上百台的服务器——时，可以在数据中心原有的电力供应下，提高超过一倍的计算能力。
对于大数据分析这一处理器密集型应用来说，英特尔的超线程技术可以极大的提高系统性能。
而对于更为重要的无缝扩展，IA架构的高可扩展性也早已被业界证实。事实上，正是IA架构的高可扩展性，业界最著名的Hadoop大数据平台才会以IA架构为基础，提出以IA架构为硬件基础的大数据软硬件推荐模板。
无论是中心还是边缘，只有IA架构能够实现最佳的大数据平台连续性
从另一个角度来看，IA架构无缝、高效的扩展能力，能够让企业在不断增长的大数据分析负载面前，有效的扩展计算平台——请记住，因为英特尔E5处理器超过上一代50%的能耗降低与80%的性能提升——这不仅意味着性能的巨大提升，还意味着能耗水平甚至有可能会降低。
当然，从存储平台上看，我们会看到相同的事情在发生。现在，几乎所有主流的企业存储系统都是以英特尔x86处理器为核心的，各家主流供应商也都采用了英特尔推荐的整体IA架构设计中端甚至高端的存储系统，这让英特尔x86平台获得“无可比拟”的优势：当你的数据中心的服务器、存储都以英特尔x86平台为核心，以英特尔的推荐架构为平台设计，这也就意味着你将获得一个融合、统一以及更高性价比的数据中心。这显然是应对大数据，甚至是云计算时代，最有力的优势。
值得一提的是，对于商业智能来说，基于英特尔至强处理器的多路平台还具备高性能、高能效、灵活扩展以及高性价比等优势——从双路到四路、多路，英特尔为商业智能提供高度适合的计算平台。
但硬件只是基础，软件才是上层建筑，对于业界主流的大数据平台Hadoop来说，仅有英特尔至强处理器平台显然是不够的，但对于企业来说，对攸关企业发展的大数据问题来说，一个开源的、无支持与服务的原生版本的Hadoop平台，显然不是一个好主意。更何况，国内的Hadoop人才尤其是底层开发人才目前还处于空档期。
让Hadoop飞：英特尔Hadoop发行版
Hadoop 为处理海量处理系统提供了一个超越传统存储和数据库技术的解决方案，已经成为构建海量数据构架的主流选择。但基于开源社区的 Hadoop 开源版本使企业用户在使用时不得不自己解决系统一致性、安装维护、管理监控等，并且需要自己解决和修补开源版本中存在的软件缺陷，这样的要求使得企业用户在使用 Hadoop 中遇到重重障碍。
针对企业用户对 Hadoop 技术平台的需要，英特尔 Hadoop 发行版产品提供了一个稳定高效可管理的 Hadoop 发行版。英特尔 Hadoop 发行版经过大量实际项目的在线使用验证，免去了企业用户的后顾之忧。英特尔还提供全面的产品技术支持和顾问服务，使得企业用户在系统规划、设计、实施和运行时都能得到专业及时的专业服务。
英特尔Hadoop发行版与开源版本的对比
对于企业来说，英特尔Hadoop发行版最明显的功能增强在于提供跨数据中心的HBase数据库虚拟大表功能，这意味着，企业能够把不同数据中心——大型的或是小型的、甚至是集装箱式的移动数据中心——内的数据库联系在一起，再借助该发行版的HBase数据库复制和备份功能，企业能够将分布在各地数据中心的数据实现统一的数据库管理以及数据保护。毋庸置言，这对大数据下的企业整体数据解决方案、融合架构有多么大的意义。
另一方面，英特尔基于开源框架针对英特尔平台进行了一系列优化工作，使得在英特尔平台上实现Hadoop，比非英特尔发行版获得性能的成倍增长，其处理能力达到“接近于实时”的处理效果——要知道，在英特尔Hadoop发行版中，改进后集群系统的 I/O 吞吐量能够随节点数量增加而线性扩展，这对于企业长期的大数据战略必不可少。
对集群系统I/O吞吐量的改进，显示出了英特尔Hadoop发行版的一项重要的不同，而这也正是我们在上文提到的，企业需要考虑的“完整的、适合整个大数据生命周期”的软硬件平台。英特尔借助自己在硬件平台与软件平台上的“合力”，通过将Hadoop的软件改进，结合英特尔的硬件部门，英特尔Hadoop发行版简化了Hadoop的安装和配置，可以根据用户的硬件环境自动生成最优化的集群配置，充分发挥集群的计算能力。而英特尔将为用户提供的，是“全面的软硬件解决方案设计与服务”。
从物联网到智慧城市，英特尔开始为不同的行业创建不同的解决方案，智能交通解决方案是英特尔帮助智慧城市的第一步。
而更重要的是，英特尔Hadoop发行版是经过测试和验证的稳定版本，在客户生产环境成功部署运营，可以确保客户生产环境 7×24 小时不间断运行。辅之以英特尔通过云计算上的经验积累，提供的从项目规划到实施各阶段专业的咨询服务，由此构建的Hadoop分布式系统硬件平台的扩展性与性能都更加优异。
最后，我们把目光转回到物联网与移动终端，转回到由这两者所产生的另外一个话题，那就是“智慧城市”。通过物联网和移动终端，通过更多的传感器与数据，通过更快速的大数据分析与利用，我们所生活的物理世界——每一个城市——能够获得极大的改变。而英特尔Hadoop发行版也在朝着这个方向努力，其已经推出了“海量数据智能交通解决方案”的设计蓝本，这一方案将显著提高我们对城市交通的管理和控制——对于大数据来说，这才是它真正的归宿。