工信部 数据治理专家 赢在大数据

　　成立于2008年的Vpon威朋是一家移动广告公司，其主营业务之一是接受广告主委托在其合作方推出的移动App上发布广告。上个月Vpon威朋推出了一款名为3S（Sales Supporting System）的系统广告分析系统，这是一套建立在Hadoop平台上的大数据挖掘、分析及处理系统。这套系统的最大作用是能精确地统计和分析用户点击移动应用的时间、地点和各种偏好，从而帮助广告主做出最有效的广告投放决策。成立于2009年的北京百分点信息科技有限公司（以下称百分点）也在做与Vpon威朋类似的事情。百分点推出了一种名为个性化搜索引擎的工具，电子商务网站可以利用它来分析访客的点击行为，找出访客的偏好，进行产品推荐。同样，这个搜索引擎也是基于Hadoop开发。
　　近几年来，在互联网领域像Vpon威朋、百分点这样利用Hadoop等大数据相关技术进行访客点击行为分析，来开展业务的公司越来越多，其中有一大批是对新兴技术敏感的初创公司，同时也不乏像Google、Facebook这样著名的互联网公司。
　　事实上，“大数据”这股发端于互联网企业的数据分析热潮如今已经超出了互联网领域，部分敢于“尝鲜”的传统企业已经开始部署大数据相关技术，市场增长非常迅猛。根据IDC最新发布的全球大数据市场预测，大数据市场将从2010年的32亿美元增长至2015年的169亿美元，年复合增长率将达到40%。对市场前景的良好预期吸引投资者们纷纷投身其中，目前对于大数据的风投资金已超过5亿美元：去年年底Hadoop版本的主要发布者Cloudera获得4000万美元投资；Cloudera的竞争对手，另一个Hadoop版本发布者——MapR获得了2500万美元的投资；NoSQL数据库厂商10Gen(MongoDB的供应商)和DataStax（Cassandra的供应商）分别获得了3200万美元和1100万美元的融资；今年4月刚刚在纳斯达克进行IPO，融资2.3亿美元??这个名单可以列得很长。
　　很显然，在市场研究机构和投资者看来，大数据市场现在是如日中天，其热度甚至大有盖过云计算之势。与此同时，“大数据是大忽悠、大谎言”的说法也不绝于耳。纷纷扰扰的市场宣传中，我们究竟该如何认识大数据，大数据到底是大机遇还是大骗局？
　　迎来大数据时代
　　大数据与数据的爆炸性增长有着密切关系。根据IDC的研究，2010年底全球新生成的数据量已经达到120万PB（或1.2 ZB），这些数据如果使用光盘存储，摞起来可以从地球到月球一个来回（从地球到月球大约24万英里）。IDC预计，到2020年需要存储的数据量将达到35万亿GB，是2010年数据存储量的42倍。
　　今天的中国是数据生产的大国。还是IDC提供的数据，截止到2012年6月，中国有近3.9亿的移动客户、5.3亿的互联网客户。在一个比较典型的二级城市中，每个季度就可能产生出200PB的视频数据。
　　应该说，我们面对的挑战不只是海量数据，还包括越来越繁多的数据格式，特别是非结构化和半结构数据量远远超过传统的结构化数据。研究表明，如今新增数据中80%以上是诸如日志、图片、视频、电子邮件等非结构化或半结构化的数据。这些数据都不能（或者不适合）用传统方法处理，需要有新的思考、新的作为，而这种技术就是大数据。
　　不过，对于什么是大数据至今并没有明确而且一致的定义。目前关于大数据有两个不同的理解，一个是认为它是一系列的技术，通过这些技术对大量的结构化和非结构化数据进行处理，从而获得各种分析和预测结果；另一个，也是更多的人理解是，简单地称海量的数据集为大数据，本文采用后一种认识。
　　虽然缺乏对大数据明确的定义，但对大数据三个“V”基本特征各方却是颇有共识，即海量的数据规模（volume）、快速的数据流转（velocity）、多样的数据类型（variety）。这其中，“海量”是大数据引发人们广泛关注的前提，而快速和复杂的数据类型则是引发人们广泛关注的关键。
　　大数据从何而来
　　谈到大数据，不得不谈到移动设备。因为我们面对的大数据除了来自企业应用、运营的数据以及供应链、供应商产生的各种各样的数据，还有很大一部分来自社交媒体以及移动应用，而移动智能设备就是背后最大的推手之一。
　　众所周知，智能移动设备的普及给社会带来诸多变化。其中之一就是人们可以在任何时间、任何地点获取信息，能够实时通信、实时协作、发布社交内容。这就使得数据的生产方式发生了变化：过去，我们只是在工作时产生数据，而今我们几乎是每时每刻都在生产数据;过去，数据都是交易型，典型的表现形式为一条条交易记录，这是传统数据库所擅长的，而如今，数据以非结构化为主，而且数据源众多，很多数据不再是由人而是由机器产生的，各种各样的RFID、传感器几乎时时都在生成数据。另外，即使是人为产生的，如社交网络、微博，数据的形式和过去的形式也不一样，主要表现为非结构化。
　　“数据量的增加已经远远超出预期，而且企业目前面临的还是一个更加复杂的数据环境。在这样一个环境中，企业要获得传统财务或者财务以外的信息分析能力，需要新的方法。这就是大数据热的大背景。”Forrester Research资深分析师曹宇钦在不久前举办的大数据论坛演讲时表示。
　　面对如此海量、复杂的数据，需要存储、需要管理，更需要分析，这就引发了人们对大数据的极大关注，而在VMware全球高级副总裁范承工看来，事情变复杂的还有另外两个因素，“之所以有今天的大数据话题，除了数据产生，更还包括云应用的普及，以及数据的使用者发生了变化。”
　　范承工在VMware内部领导一个数据部门从事相关产品的开发，包括支持Hadoop在虚拟化环境中的快速部署插件等。范承工解释说，云应用的普及改变了过去单一的数据位于数据中心的形式，越来越多的数据被保存在企业防火墙外的公有云中，使得数据整合成为难题；同时，数据使用者也从最初主要面向管理者、高级经理到逐渐普及到一般业务人员，这就要求获得分析结果的方式更简单、更灵活，支持的用户更多了。