大数据需要学什么【大数据：让你广告更省钱】

　　广告界有一句很流行的说法：“我知道我的广告费有一半浪费了，但是我不知道是哪一半。”这句话很好地道出了广告主的无奈，明知其广告浪费却也无能为力。不过，这个问题现在可以找到解决办法了。互联网以及移动互联领域，依托各种IT技术及相关工具，广告主可以得到访客访问互联网网页、移动应用行为的精确分析报告，从而让广告投入越来越精准。
　　这其中，时下热门的大数据技术担当了重要角色。事实上大部分从事此类分析服务的公司正是利用了这一新兴技术抢占了市场先机，这其中有谷歌、Yahoo、Twitter、Facebook等互联网巨头，更有数不胜数的初创或者新兴公司，Vpon威朋就是其中一员。
　　掘金移动广告市场
　　中国已经是全球最大的智能手机市场，根据CNNCI日前发布的《中国网民搜索行为研究报告》显示，手机网民数量大幅上升，达到3.88亿，手机首次超越台式电脑成为第一大上网终端。智能手机的普及带动了移动广告市场的快速崛起，移动应用（App）更是备受广告主青睐，越来越多的商家也把移动应用作为一种重要的推广渠道。
　　Vpon威朋的主要业务就和移动应用相关。成立于2008年的Vpon威朋是一个移动品牌广告平台，独立受众超过1亿，广告业务覆盖北京、上海、广州、香港、台北等750多个城市，颇受风险投资青睐，已获千万美元风投。
　　“本质上，Vpon威朋是广告主与发布广告的载体之间的中介，我们接受广告主的委托将它们提供的广告发布在广告主制定的移动应用上。” Vpon威朋产品经理马宝昌介绍说，“Vpon威朋是一个中介，但绝对是一个高技术含量的中介。”
　　马宝昌所说的这个技术含量就是Vpon威朋在智能移动设备方面的独家研发技术与运营能力、海量数据处理分析能力。依托这种能力，它们研发出一系列对广告效果进行分析的产品，本月初刚刚发布的一套支持海量数据挖掘、分析及处理的3S（Sales Supporting System）系统就是其一。3S是一套建立在Hadoop平台上的大数据挖掘、分析及处理系统。这套系统最大的作用就是能精确地统计和分析用户点击移动应用的时间、地点和各种偏好，从而帮助广告主做出更有效的广告投放。在马宝昌看来，这套系统可以与Google、Yahoo、Facebook等公司在领先技术的应用上比肩。
　　马宝昌表示，以Vpon威朋为某餐饮企业做的促销广告为例，最初是从早上9点到下午5点的全天全网投放，但3S系统分析发现，如果用户使用WI-FI接入网络，很有可能他已经选好了消费地点，而如果使用3G，用户很可能在等人，而这个时候如果距离他75米处有个餐饮店，用户就非常可能会改变消费决策去这个餐饮店——3G用户比WI-FI用户的转化率和到店率高出28%，即把当初全天全网投放转为重点时段投放3G用户。由此可见，这样的数据对于移动广告投放和优化有着至关重要的影响。“一般来说，在3S系统的帮助下，广告效益能提高15%～40%。”马宝昌说。
　　根据Vpon威朋提供的数据，截止到目前，Vpon威朋累计的独立用户数已经突破1亿，公司广告平台每月的广告请求数超过40亿次，合作的App数量超过两万个，这一数字在2010年时还仅为500个。这些合作的App主要包括第一财经、新华社、环球时报等知名机构。
　　Hadoop来帮忙
　　其实，要精确分析用户点击移动应用的行为是一件比较困难的事情，其最主要的困难是在成本可接受的范围内来完成用户点击行为的分析。因为用户点击移动应用的行为随机性强、数据量大，是典型的大数据。另外，进行分析涉及的相关信息也比较多（包括电信运营商、操作系统、手机型号以及访问的位置、访问渠道），同时对数据分析的实时性要求也比较高，这些都对整个分析系统构成了很大挑战。
　　“大数据最有效的处理平台就是Hadoop，技术成熟，而且系统扩展性高、成本低。”谈到选择Hadoop平台的原因时，Vpon威朋负责Hadoop平台运维的技术工程师许双表示。
　　据记者了解，3S系统每隔5分钟左右就会将日志数据送到Hadoop Cluster中，并汇入到Hive table中，Hive table底层即为Hadoop文件系统，数据量一般都达GB级别，3S系统会在每天的工作时间(现在是凌晨)依照定义执行任务。除了运用Hadoop技术完成海量数据的运营之外，3S系统还能够在多维度上完成对海量数据的分析挖掘，并依照广告周期直接显示报表等。
　　许双介绍说，虽然3S系统表现出了很高的性能，但这个3S系统其实就运行在一个由英特尔至强平台服务器组成的X86计算集群上。这些服务器也都再普通不过，双路4核CPU、16GB内存，但是在性能、可扩展性及性价比方面的表现完全满足了Vpon威朋的需要。
　　“如果用传统的建立在数据仓库之上的商业智能技术来实现，光是软硬件的投入成本就让他们很难承受，而采用现有的Hadoop平台就便宜了很多。”许双说，Hadoop是开源软件，尽管并不意味着免费，但和商业软件相比，其采购成本要低得多。此外，Hadoop是为开放架构的硬件平台而设计，大幅降低了硬件投入成本。
　　“一个好的大数据处理基础平台加上我们的海量数据分析技术以及对业务了解，构成了我们核心竞争力。”Vpon 威朋首席执行官Victor Wu自信地表示，在大数据分析处理上，他们不怕3S系统被拿来与国外同类的产品做比较。