拥抱大数据 走近大数据分析工具

大数据的好处

    严格地说，大数据并非一个新词，被誉为“数据仓库之父”的bill inmon早在上世纪90年代就经常将“big data”挂在嘴边了。大数据之所以在近一两年迅速走红，要归结于互联网、移动设备、物联网和云计算的迅猛发展，它们使得人类每分每秒都在产生巨量数据——从出现文明到2003年，人类总共才创造 5 eb(5 exabytes)的数据，但现在全世界仅数天内就可创造出相同的数据量。来自idc全球存储及大数据研究项目副总裁benjamin woo表示，到2020年，全球数据使用量预计暴增44倍，达到35.2zb。35zb是什么概念呢?(1zb=1024eb=1048576pb=1073741824tb，1073741824tb×35=37580963840tb)，也就是说全球大概需要376亿个1tb的硬盘来存储这些数据。

    但是大数据并非单指数据量大，对于大数据，idc的定义是：“大数据是为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。”人们普遍将该定义概括为四个“v”，即更大的容量(volume，从tb级跃升至pb级，甚至eb级)、更高的多样性(variety，包括结构化、半结构化和非结构化数据)，以及更快的生成速度(velocity)。前面三个“v”的组合推动了第四个因素——价值(value),而关于大数据所蕴含的价值，有许多被人所津津乐道的故事可以佐证。

     大数据的4v特性

    早在19世纪，“百货商店之父”约翰·沃纳梅克便提出了：“我在广告上的投资有一半是无用的，但是问题是我不知道是哪一半?”这也是对经典商业模式下供需不对称的典型描述。而现在依靠大数据的分析预测能力，一些精明的零售商正在收集和挖掘消费大数据，针对顾客在网上的购买行为，投其喜好进行销售与推广，实现社交电子商务和库存优化。

    例如，大数据分析软件有可能使零售商进行直接相关的促销和营销活动，激励消费者进行网购，并跟踪由此产生的销售交易， 大限度地提高消费，提高盈利能力，在短时间内产生 大收益。比如trident marketing是一家营销企业，其客户包括directv等品牌，通过ibm大数据分析软件的帮助，他们甚至可以预计客户 佳联系时间以及客户是否会取消购买服务。其营收在短短4年间增长了10倍，产品部署后头两个月的销售额增长10%，而且其客户流失率降低了50%。

    去年，西班牙电信推出了名为“智慧足迹”的大数据服务，通过向数据挖掘公司等合作方提供定向人流的移动数据，为零售客户开店选址和促销提供借鉴。另一个典型的案例是，2012年成功获得连任的美国总统奥巴马背后，有一个几十人的数据分析与挖掘团队，帮助他在获取有效选民、投放广告、募集资金等方面发挥作用。

    从以上的例子不难看出，大数据的价值和重要性已经毋庸置疑。不过现在 关键的问题是，每个企业如何才能获取大数据中的“宝藏”呢?

hadoop，大数据分析利器

　　对于较大的公司来说，海量数据处理已经不是什么新鲜的东西了。例如，twitter和linkedin已经是大数据的著名用户了，这两家公司已经奠定了明显的竞争优势，通过挖掘他们的大规模数据仓库来判断发展趋势。那么，中型企业的cio该怎么办呢?幸运的是，手边就有可用的工具。这些工具中有一款是免费的，那就是hadoop，它基于java的apache hadoop编程框架。hadoop是一个分布式系统基础架构，由apache基金会开发，用户可以在不了解分布式底层细节的情况下开发分布式程序。简单来说，hadoop是一套开源的、以java为基础的、可对pb级别的大数据进行存储和计算的软件平台，它能够让数千台x86服务器组成一个稳定的、强大的集群。而对那些想充分利用大数据的it专业人员，hadoop解决了与大数据相关联的 常见的问题：高效的存储和访问海量数据。

利用hadoop可进行高效存储和访问海量数据

    hadoop主要由hdfs、mapreduce和hbase组成，其内在设计让它能够在大量不共享任何内存和磁盘的计算机平台上运行。考虑到这一点，就能很容易看到hadoop提供的价值——网络管理员可以购买许多商品服务器，将它们放在机架上，然后在每台服务器上运行hadoop软件，hadoop有助于减少大型数据集相关联的管理开销。在操作上，一旦企业的数据加载到hadoop平台，软件就会把数据分解成可管理的段，然后自动将这些数据分配给不同的服务器。同时hadoop跟踪数据驻留的位置，并通过创建多个存储副本进一步保护这些信息。这样，系统的伸缩性增强了，如果某个服务器脱机或者失败了，数据可以自动复制已知的正常副本。

 hadoop的工作原理

　　hadoop在过去一年半时间里在大数据领域获得了极大的肯定。调查显示，以hadoop为代表的分布式存储与计算技术成为 受关注的数据分析管理新技术，市场比例达到29.86%；其次是以sap hana为代表的内存数据库技术，市场比例达到23.30%；以google cloud sql为代表的云数据库排名第三，市场比例为16.29%。考虑到apache hadoop1.0版是在2011年11月底发布的这一事实，hadoop获得这么多企业的认可确实令人惊讶。作为大数据分析方面的一项重要技术，大规模使用hadoop已是必然趋势。目前谷歌、雅虎、亚马逊、facebook，以及国内的淘宝、百度等都采用了hadoop技术来处理海量数据。hortonworks公司的ceo eric baldeschwieler预测：在2017年hadoop将处理全世界数据的半数之多，而全球的行业专家和用户们都把hadoop称为事实上的数据分析标准。 

it巨头借hadoop发力大数据

    尽管hadoop是开源软件，但英特尔、ibm、cloudera等厂商都推出了他们各自的hadoop特别发行版本。这些特别发行版本一般都会有一些附加特性，比如高级管理工具及相关的支持维护服务，主要适合企业用户使用。毕竟绝大多数企业用户都和互联网公司一样具有强大的技术实力，采用具有商业支持的开源hadoop技术能够快速切入到大数据应用中去。   

    如针对企业大数据方向开发者，ibm就推出了多款产品和技术。其新版本企业级hadoop产品infosphere biginsights可以利用现有的sql技术，更便捷地开发应用组件。兼具安全性强和高可用性的特点，新版的infosphere biginsights能够更加契合企业部署需求。惠普则在接连收购vertica和autonomy后，也推出了与vertica 6实现高级集成的大数据应用平台——hp appsystem for apache hadoop。而英特尔针对大数据的开放架构核心产品线，也推出了英特尔hadoop分发版，让用户可以实现“软硬协同、体验至上”的创新效果。例如，利用英特尔至强处理器平台对网络和i/o技术所做的优化，与英特尔hadoop分发版进行强力组合，以往分析1tb的数据需要4个多小时才能完全处理完，现在仅需要短短的7分钟即可完成，极大地提升了大数据分析的速度。

     英特尔推出的hadoop分发版

    当然，微软也不会缺阵这场大数据的盛宴。结合对大数据本身的认知和自身强大的产品组合，微软正在为用户提供一个端到端的大数据解决方案。简单来说，就是后端以新一代sql server 2012为基准平台，将大数据“管“起来，然后在中端以数据集市为依托，配以丰富的数据应用， 后在前端以丰富的界面形式展现数据分析的结果，完成数据的汇总→应用与分析→结果呈现的完整流程。为帮助企业快速应用其大数据解决方案，微软将同时在windows azure平台和windows server平台上提供hadoop(在前者上用作基于云的服务，在后者上用作内部部署的分布)。此外，cloudera、splunk 、clustrix、1010data等一些新兴的大数据企业异军突起，它们力争在未来庞大的市场需求中抢占一定的份额。不过，令人遗憾的是，国内类似的大数据创新企业还比较少，希望这一局面能够尽早得到改变。

    小结：大数据的角逐已经开始了。今年大数据市场规模将进一步膨胀，一些新的细分市场将会出现。例如，以数据分析和处理为主的高级数据服务，将出现以数据分析作为服务产品提交的分析即服务业务；将多种信息整合管理，创造对大数据统一的访问和分析的组件产品；基于社交网络的社交大数据分析。不过，从大的环境来看，目前大数据发展还处于起步阶段，无论是软件技术、硬件技术还是软硬件一体化的技术，国内企业要想在大数据发展中抢到更多的话语权，现在就必须高度重视并着手在大数据应用实践中找准切入点。要知道，忽略数据分析大势的cio们实际上是在拿自己的职业冒险。

相关文章

• 上一篇： 稳压电源的正确使用
• 下一篇： 手机的摄像头技术和技巧详解