
大数据时代的来临
随着网民爆炸式的增长以及互联网在人们生活和学习中的逐步渗透,2012年数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB),EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。对企业来说,当处理的数据量处于PB这个量级时,就可以认为大数据时代来临了。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到了2020年,全世界所产生的数据规模将达到今天的44倍。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的,被称为所谓的“新摩尔定律”。
有关大数据的具体描述
信息技术的发达使得几乎所有数据都能够被记录和保存,由此产生数百倍甚至数万倍于过去的数据。例如,全国最大的小商品市场义乌小商品批发市场一共7.5万卖家,但我国各类线上卖家总计已超过1000万,并且这些卖家所有的交易活动都被完整地记录下来。又如,全球数据总量有90%诞生于最近两年;沃尔玛每小时产生的交易数据量是美国国会图书馆藏书总量的67倍;一个人要看完YouTube上的所有视频,需要花1000年的时间。纽约证券交易所每天会产生1TB的数据,国外SNS网站Twitter每天产生的数据总量则为8TB。大型强子对撞机将产生350万TB的数据。2013年每天全球产生25PB数据,相当于1500个国家图书馆信息量的总和。人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有的话的数据量大约是5EB。
数据成为基础设施
人类自从诞生以来就在源源不断地创造着数据,商业文明的发展自始至终都离不开对于数据宝藏的挖掘,在商业世界中,数据一直都不是什么新鲜的东西。但是当海量的数据积累所造就的“大数据”时代到来,经济的新增量已经逐渐露出了面纱。一组DNA可能会死亡或毁灭,但数据化的DNA却永存。舍恩伯格赞同许多物理学家的看法,世界的本质就是数据。
大数据将逐渐成为现代社会的基础设施的一部分,和公路,铁路,港口,水电,通信网络一样不可或缺。但就其价值特性而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。对于任何企业来说,数据都是其商业皇冠上最为耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展,商业决策已经越来越依赖于数据。
人们每天在互联网上产生大量的数据,对于企业来讲这些数据都是十分宝贵的资源。企业可通过数据挖掘进行战略调整以及营销部署,尤其是对于互联网公司而言,用户行为产生的数据就是企业最宝贵的资源。大数据标志着社会处理信息方式的变化,大数据可能会改变人们思考世界的方式,大数据时代的决策是复合性和不断迭代的。对企业核心资产也进行了重塑,数据资产当仁不让地成为现代商业社会的核心竞争力。
数据挖掘的深度价值
数据中包括着大众的情绪、消费者的喜好、市场的潮流、不同人群的关注点等等。在传统时代,这种数据信息的捕捉被认为是绝对不可能的,如今都已变为现实。而当这些数据变成信息时,这些数据正在产生卓越的商业价值。例如,美国著名购物网站Shopzilla把加载网页的用时从7秒减少到2秒后,其页面浏览量增加了25%,销售额增加了7~12%;澳洲联邦银行运用大数据分析提供个性化交叉销售,成功将其交叉销售率从9%提高到60%。
金融行业本身具备丰富的数据资源,但目前对数据的利用率仍很低。未来加强数据应用可在了解客户、交叉销售、风险管理等多方面展开。例如,根据浏览记录、消费记录推送产品,创造支付、信贷等金融需求,尤其是与LBS技术的结合能够显著增加移动支付等移动金融的应用;这种“推荐”应用始于亚马逊,领先金融机构如花旗银行已将其应用于信用卡服务。又如,通过数据的积累和分析降低金融产品的不确定性,从而简化金融产品,推动金融的去中介化,使得过去难以被服务的金融客户也能够被低成本覆盖。P2P公司分析用户个人信息已远超出人行征信的范畴,而是涵盖了社交网络痕迹、手机通信记录等多全方位的信息,从而降低借贷过程中的不确定性。
更远期来看,以大数据分析为基础的信用体系不仅能够被应用于金融领域,还能被广泛应用于所有需要解决陌生人之间的诚信问题的场景。数据将成为像石油一样的资源,数据分析和应用能力将成为最有价值的竞争优势。

图1-3 大数据在各行业的应用
数据改变思考逻辑
大数据时代的经济学、政治学、社会学和许多科学门类会发生巨大的甚至是本质上的变化和发展,进而影响人类的价值体系、知识体系和生活方式。通过数据分析可以发现多种类型的知识,包括反映同类事物共同性质的广义型知识;反映事物各方面特征的特征型知识;反映不同事物之间属性差别的差异型知识;反映此事物和彼事物之间依赖或关联的关联型知识;根据当前历史和当前数据推测未来数据的预测型知识。大数据分析过程就是为了提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
大数据重大的作用是改变了逻辑顺序,提供了从其他视角直达答案的可能性。现在人的思考或者是企业的决策,事实上都是一种逻辑的力量在主导起作用。我们去调研,去收集数据,去进行归纳总结,最后形成自己的推断和决策意见,这是一个观察、思考、推理、决策的商业逻辑过程。人和组织的逻辑形成是需要大量的学习、培训与实践,代价是非常巨大的。大数据给了我们其他的选择,就是利用数据的力量,直接获得答案。换句话说,为了得到“是什么”,我们不一定要理解“为什么”。我们不是否定逻辑的力量,但是至少我们有一种新的巨大力量可以依赖,这就是未来大数据的力量。
大数据时代还可以在其他方面为中国经济提供帮助。因为国有银行的信贷往往青睐国有企业,这使得中小企业一直面临融资难的问题。但现在,阿里巴巴和腾讯通过为企业在线提供小额贷款彻底颠覆了传统的中小企业贷款业务。他们的支付系统,让即使是很小的公司也有可能成为跨国公司。互联网将帮助数以百万计的小企业在全国范围内形成协作,产生了提高生产力的强大网络效应。