一个具有犯罪前科的可疑分子正行驶在高架桥上,警察已经通过红绿灯、摄像头等采集到他的面部信息了,关联的数据库马上就会显示该可疑分子的资料。同时,该系统还会自动提示平时犯罪高发的时间和地点、现实区域犯罪的几率,并预测该可疑分子可能作案的时间和地点。于是,警方利用数据库和高速处理平台,及时采取措施、部署行动、调配警力,及时防止了犯罪案件的发生。
这是真实发生在美国孟菲斯警察局的一个案例。在这个案例中,对于犯罪分子面部数据的收集,以及对犯罪行为数据的分析和预测,正是大数据应用之一。
另一个典型的案例是,2012年成功获得连任的美国总统奥巴马背后,有一个几十人数据分析与挖掘团队,帮助其在获取有效选民、投放广告、募集资金方面发挥作用。
实际上,很多看上去与上述案例并无关联但实质上如出一辙的事情,就在我们身边时刻发生着。当你用手机扫描二维码,并将其用微博转发的时候,你的消费习惯、偏好,甚至你的社交圈子的信息,已经被商家的大数据分析工具所捕获,随后,他们需要做的,就是利用大数据对你的习惯和需要进行精准的分析、挖掘、展现和预测,向你提供进一步的信息和服务。
在宽带化、移动互联网、物联网、社交网络、云计算的催生下,大数据时代翩然而至。大数据,正在悄悄地走进我们的生活,并改变着我们的未来。
一个“数据钻出石油”的时代
当你用一分钟,看完这行文字的时候:新浪已经发送了2万条微博,苹果已经下载了4.7万次应用,淘宝已经卖出了6万件商品,人人网发生了30万次访问,百度产生了90万次搜索查询。
2010年印刷版《大英百科全书》,32册,重达58.5公斤。然而,它的全部内容,还装不满一个4G的U盘。有鉴于此,《大英百科全书》出版社2012年3月对外宣布,不再推出印刷版,内容全面数字化。
海量数据已经成为今天人类生存环境的突出特点。根据IDC(国际数据公司)的统计,2011年全球数据总量已经达到1.8ZB(1ZB等于1万亿GB,1.8ZB也就相当于18亿个1TB的移动硬盘),而这个数值还在以每两年翻一番的速度增长,预计到2020年全球将总共拥有35ZB的数据量,增长近20倍。
“大数据已经渗入到了生活的方方面面,从房地产到商务,从产品到品牌,都已经和大数据紧密联系在一起。”中国传媒大学调查统计研究所所长沈浩教授表示。
通俗地讲,大数据就是对网上海量的文本、图像、音频和视频数据进行采集、分析、加工和利用。
工信部软件服务业司司长陈伟认为,由于大量有用和可能没用的数据并存,“遍地是金子,又遍地是沙子”,所以大数据的目的就在于从庞大的数据集合中找寻有价值的数据和知识,通过分析挖掘为各行业提供真正的智慧,“可以说21世纪是‘数据钻出石油’的时代”。
IBM大数据专家肖冰认为,大数据中蕴含着巨大的商业价值。在这样庞大的非结构化数据背后,如何利用大数据技术,从海量堆积的交互数据当中发现带有趋势性、前瞻性的讯息,就能够发现并产生巨大的社会价值和商业价值。
大数据悄然改变生活
其实,大数据已经开始悄然改变着我们的生活。
网络购物正在成为消费者喜爱的购物方式,2012年的“双十一”大战,令众多网友沉迷于网购中不能自拔。或许你不知道,其实,依靠大数据分析预测能力,一些精明的零售商正在从目标客户更加个性化和直接的层面上,特别是在重要的节日需求上,收集和挖掘消费大数据。
大数据可以处理一个庞大的范围内的广泛活动,包括有效的营销活动,就可以针对顾客在网上的购买行为,投其喜好进行销售与推广,实现社交电子商务和库存优化。
例如,大数据分析软件有可能使零售商进行直接相关的促销和营销活动,激励消费者网购,并跟踪由此产生的销售交易。而同时,大数据作为一个结果,零售商可以监视和实时的调整促销活动,最大限度地提高消费,提高盈利能力,在关键时期短时间产生最大收益。
“以往决策更多采用基于调查基础上的经验性决策,而借助大数据分析则能够对于对象进行数量化的分析从而使决策更为科学。”中国电子信息产业发展研究院分析师韩耀强表示,目前淘宝就已经建立了云计算中心,利用大数据可以更好的处理消费者的消费习惯、随季节的变化等,从而更精准的制定自己的营销策略、库存调配等,从而使决策更加理性化。
Trident
Marketing是一家直复营销企业,其客户包括DIRECTV等品牌。通过IBM大数据分析软件帮助,他们甚至可以预计客户最佳联系时间以及客户是否会取消服务。其营收在短短4年增长了10倍,产品部署后头两个月销售额增长10%,而且其客户流失率降低了50%。
大数据还可以当医生!曾经参加美国智力游戏Jeopardy!(危险边缘)的IBM超级计算机Watson已经可以用来协助医生听诊。目前,有些美国的医疗机构为了避免医生的疏失,开始与IBM合作,现在Watson会陪同医生听诊,听诊完它会透过病征列出可能患的疾病是哪些,医生可能问诊完想到的病征可能只有三五个,可是Watson会跟从海量数据分析的角度帮他列出高达20个病征选项,这大大的可以减少医生疏忽的机会,医生看了Watson的分析报告以后就可知道,可以再多问病人什么问题来缩小看诊判断误差。
大数据将使商业维护更加便捷。肖冰以某金融企业为例告诉我们,以往的分立的、传统的数据处理的方式,每天的维护人员需要24小时3班倒,现在上线了PureData之后,则只需要6个人就足够了,会带来更大的便捷、降低更大的成本从而提升竞争力。
谈到大数据可能对生活带来的变革,韩耀强说:“大数据会从个人、社会生活、商业、法律、道德等多个方面对整个社会产生全方位的、深刻的影响,此外还有更多变化我们是无法预测的,但毫无疑问,大数据对于生活的剧变性影响已经是不可抗拒的事实。”
掘金大数据
2012年,大数据是云计算之后最热的概念、最大的商机。包括IBM、微软、谷歌、亚马逊在内的一大批知名企业纷纷掘金这一市场。以至于纽约时报等媒体均宣称大数据时代已经来临。
肖冰表示:“目前大数据处理的应用,主要分为三个层面:一是远程数据处理,一是数据仓库引擎进行处理,还有一个方面是挖掘、预测和展现数据的展现。”
我国政府也已经加大了大数据的推广力度。2012年9月26日,投资约5亿元的全国人口信息处理与备份(西安)中心落户西咸信息产业园。园区建设成为国家级数据中心和信息服务产业基地,使西咸大数据处理与服务产业园成为中国最大的信息资源聚集区。
韩耀强透露:“很多地方的政府已经有了关于大数据发展的政策规划,尽管明文政策还没有出台,但在各地的云计算基地建立的基础上,大数据的推广应用将充分挖掘云计算的产业潜力和推动云计算的创新动力。”
面对海量数据的到来,传统的计算法则已经不再适用。以IBM在2012年12月份发布的针对大数据处理的专家集成系统PureData为例,“相对于分立的、传统的数据处理的方式,我们的处理性能在速度上要快100倍以上,将复杂的分析操作时长从数小时降至数分钟,并且能够实现在单个系统上管理超过100个数据库。”肖冰表示。
据了解,目前,美国医疗服务机构的联盟Premier Healthcare
Alliance正在利用PureData系统帮助2700家医院和9万家其它医疗机构提高医疗服务质量、改善财务状况。其采用PureData系统来管理和分析美国最大的诊所事务、财务和诊断结果数据库。该数据库存储着四分之一的病人出院信息、每天250万笔诊所实时交易以及关于每年430亿美元的医疗采购的信息。
大数据发展任重道远
毋庸置疑,大数据能够带来大量的经济价值和利益,但它也是一把双刃剑。“无论对于企业还是个人而言,对于大数据的使用,利用得当会给我们的生活带来巨大的便捷,而利用不当则也可能成为一种大的危机,也有可能是带来一种大的淘汰。”肖冰谈到大数据未来发展时表示。
被企业大量收集的数据,带来了在数据处理、使用、保管和安全等方面的新挑战,对于消费者的个人隐私和安全形成威胁。“在大数据时代,安全问题会比互联网时代更加突出。”韩耀强说,这也会催生一些新的有关于数据安全方面的产业。
大数据发展面临的挑战之一是数据的标准化问题。据肖冰介绍,海量的数据的形态非常多样,“目前有80%以上的数据,是以非结构化的形式而存在的。以往的技术在处理规范和结构化数据方面具备优势。但在处理视频、语音等非文字形式呈现的非结构化的数据挖掘、专题分析与预测等方面则更加具备优势。在移动互联时代,更多的数据以非结构化的形式出现,传统的数据处理方式面临革新。”
非标准化的数据处理的难度非常大,而又有很多数据难以进行标准化。“通过政策引导,打破数据的条块化特征,从而使数据更标准、更易于处理,是重点需要突破的领域。”韩耀强强调。
大数据发展面临的挑战还在于并没有真正在应用层面上下功夫,“如何真正利用大数据提升企业的价值,是需要着力突破的方向。”肖冰回顾大数据的发展时说道。
“100年前的医生可以了解医学的所有分支,可是今天一名医生面对的是大约10000种疾病综合征、3000种药品、1100种检验方法的海量知识。”国家信息化专家咨询委员会副主任、中国工程院院士邬贺铨认为,大数据产业需要从业人员既懂数据分析工具,又懂行业分析,而这样的创新人才是奇缺的,“同时在大数据挖掘开发利用和安全以及隐私保护方面,我国还缺乏相应法律保障,需要通过机制创新来推动数据共享的实现。”
“大数据将来会如何发展,并非决定于我们对大数据的认识,而关键是看社会会怎么发展。因此,基于关系视角的研究,大数据一定是会大有作为的。”沈浩表示