大数据时代读后感 大数据时代的图书馆服务浅析

　　摘 要：大数据与云计算是近两年IT界最为流行的两个关键词，各大IT厂商也都看到了大数据所蕴含的商业价值并展开了一定的产品研发与商业应用。在大数据时代，图书馆的数据处理及服务将会发生显著的变化，从大量的数据集中去分析和挖掘潜在的价值，以便图书馆决策层及时做出相应的建设方案调整将成为图书馆的一大主要业务，图书馆服务也将随着图书馆服务策略的调整而做出服务方式、途径等方面的改变。
　　关键词：大数据 云计算 数据处理 数据分析 信息服务 图书馆服务 数据挖掘
　　中图分类号：G253 文献标识码： Ａ 文章编号： 1003-69３８（２０12）０4－0120-03“大数据”（Big data）是IT界继“Web2.0”、“数据挖掘”和“云计算”之后近两年最流行的词，大数据革命也正以Apache Hadoop为中心如火如荼的进行着，IBM、EMC、Oracle、VMware和Microsoft等商业机构已看到了在这场革命中蕴含的商业价值，并基于云计算等平台开发了诸如BigInsights产品［1］的数据计算、数据收集等服务。实际应用方面，EMC和VMware已经做出了表率，EMC中国区总裁蔡汉辉介绍说，中信银行在实施了EMC提供的大数据解决方案以后，取得了不错的效益，如中信银行在2011年大概有1200多个营销活动，以前他们举办一个营销活动大概需要两周左右的时间做配置。但是通过运用EMC提供的大数据解决方案后，只需要2～3天就可以配置成功［2］。美国政府也预测到了这场革命中的战略价值，奥巴马政府于2012年3月29日宣布推出“大数据的研究和发展计划”，意在推进和改善联邦政府部门的数据收集、组织和分析工具及技术，以提高从大量的、复杂的数据集合中获取知识和洞见的能力［3］，把大数据上升到了国家战略的高度。但对于社会中以知识存贮、利用与开发为己任的图书馆来说，在这个“大数据”时代如何提高海量增长的文献数据处理能力，搜寻新的数据计算、知识发现及信息服务的新途径，是图书馆界学术研究的一大思考所在，而要真正解决这个问题，就要理性的认识“大数据”及其带给我们的环境与改变，逐层分析这些图书馆可以利用的理念、技术与工具，实现图书馆读者信息服务能力的提升，进而推动我国图书馆事业的发展。
　　1 大数据概述
　　大数据目前尚没有统一的定义，部分业界专家如《著云台》的分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多的时间和金钱［4］。因此，大数据通常被认为是一种数据量很大、数据形式多样化的非结构化数据［5］。
　　1.1 大数据的特点
　　随着对大数据研究的进一步深化，IT界对大数据的特点有了较为全面和统一的认识，即：（1）大数据的种类繁多，并在编码方式、数据格式、应用特征等多个方面存在差异性，多信息源并发形成了大量的异构数据；（2）通过各种设备产生的海量数据，其数据规模极为庞大，远大于目前互联网上的信息流量，PB级别将是常态；（3）涉及到感知、传输、决策、控制开放式循环的大数据，对数据实时处理有着极高的要求，通过传统数据库查询方式得到的“当前结果”很可能已经没有价值；（4）数据持续到达，且只有在特定时间和空间中才有意义；（5）通过数据库处理持久存储的数据不再适用于大数据处理，需要有新的方法来满足异构数据统一接入和实时数据处理的需求［5］。
　　1.2 大数据的应用领域与范围
　　尽管大数据的概念形成较早，但对其技术的研发还是近几年才发展起来的，从目前来看，大数据技术主要涵盖的领域有可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据质量和数据管理等，具体来说，目前主要有包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。技术及应用的不普及与不成形使得大数据的技术门槛较高，因此目前在该领域展开竞争的大都是在数据存储、分析等领域有着传统优势的IT厂商。如Oracle发布了Oracle大数据机、VMware推出了虚拟化架构+云平台的开源项目Serenget、EMC推出了EMC Hadoop等。IBM在大数据领域的优势则较为全面，而机器人“沃森”在人机大战中获胜，更成为IBM为其大数据分析解决方案加分的例证，此外，IBM还研发出了一系列大数据分析计算软件，如基于云端Hadoop的分析软件InfoSphere BigInsights、针对iPad用户推出的全新移动分析应用软件Cognos Mobile、拥有映射功能的全新预测分析软件SPSS Statistics 20.0、全新的后台数据筛选及维护软件InfoSphere Information Server8.7等［6］。对其核心技术如Hadoop的应用也主要是在一些企业的数据分析等领域，如百度的搜索日志分析，腾讯、淘宝和支付宝的数据仓库等。
　　大数据最典型的另一应用案例是大数据技术在沃尔玛的应用。沃尔玛是最早通过利用大数据而受益的企业之一，早在2007年，沃尔玛就建立了一个超大的数据中心，其存储能力高达4PB以上。通过对数据中心中消费者的购物行为等非结构化数据进行分析，沃尔玛成为最了解顾客购物习惯的零售商，并创造了“啤酒与尿布”的经典商业案例。大数据的另一应用案例就是3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA)就发布了详细的海啸预警。通过对海洋传感器获得的实时数据进行计算机模拟， NOAA随即便制作出了海啸影响模型并出现在YouTube等网站［7］。我国应用大数据技术的企业当前只是凤毛麟角，目前仅有为数不多的企业正在开展相关的项目建设。如中国联通正在通过采用基于云平台及英特尔发行版Hadoop的大数据解决方案来构建移动通信用户上网记录集中查询与分析支撑系统。这一系统可为企业的客户服务人员提供客户上网记录的快速查询服务，也可为客户本人提供高效的异常大流量上网记录自助查询服务，这将有助于解决流量投诉问题。该项目将在2012年10月结束，届时除了为客户服务人员提供服务外，系统还可以为企业的业务部门提供分析与决策服务，并有望在未来帮助企业更为准确地把握用户偏好，从而让中国联通能更有效地制定市场策略和开发新业务［8］。