大数据可能是近一年来最时髦的词了,大数据真正的本质不在于“大”,而是在于背后跟互联网相通的一整套新的思维。大数据跟传统的数据最大的差别在哪呢?
1.在线。首先大数据必须是永远是在线的,而且在线的还得是热备份的,不是冷备份的,不是放在磁带里的,是随时能调用的。不在线的数据不是大数据,因为你根本没时间把它导出来使用。只有在线的数据才能马上被计算、被使用。
2.实时。大数据必须实时反应。我们上淘宝输入一个商品,后台必须在10亿件商品当中,瞬间进行呈现。如果要等一个小时才呈现话,我相信没有人再上淘宝。十亿件商品、几百万个卖家、一亿的消费者,瞬间完成匹配呈现,这才叫大数据。
3.全貌。大数据还有一个最大的特征,它不再是样本思维,它是一个全体思维。以前一提到数据,人们第一个反应是样本、抽样,但是大数据不再抽样,不再调用部分,我们要的是所有可能的数据,它是一个全貌。其实叫全数据比大数据更准确。
阿里巴巴总参谋长 曾鸣
这是大数据的三个本质,在线、实时、全貌。
大数据的3个典型特征
为了让大家对大数据有更多的理解,我再把它展开跟大家讨论一下。大家做企业,最容易想到的两个数据应用,一个是市场调研,派个市场公司或市场部门做一个调查,去看下各公司什么反馈。第二个就是商业智能BI、数据挖掘,查看数据经营的报表。这是最传统的两个数据应用。
这样的数据应用有几个典型特征:
1.要知道准备达成的目标,从而主动收集这些数据。由于每个企业的计算能力跟成本不一样,数据数据保留多少时间、哪些数据能用,是有所不同的。而大数据是实时的记录数据。原则上,任何人上任何一个网站、做的任何事情,所有事情都会被记录下来,没有人事先做区分。所以大家不再去问,是数据就记录下来,所以这是第一个差别。
2.参与的人不再是有意识的参与,而是无意识的参与,你是为自己的利益在做事情。你用一次搜索,你就参与了谷歌的大数据搜集,因为你的每次点击就是一个数据来源。如果让你参加一个市场调研,80%的情况下你会拒绝,15%的情况下你可能会要求某种意义上的补偿。很少有人愿意主动的参加市场调研,因为对你来说是个负担。但是线上的大数据对绝大部分人来说,完全是一个无意识的、自利的行为。我上淘宝就是为了买东西,我上微博是为了看新闻,我上百度是为了搜索,你都是为了自己利益而触发的一个无意识的行为,但这个无意识的行为,都为大数据做了贡献。
3.一个是单向,一个是双向。我们以前做的数据分析也好,都是先假定一个目的,然后拿到现成的数据,分析行为,来测试我的猜测。这些都是有一个单向的主导。大数据本质上一定是双向的,就像搜索,你点击搜索引擎点击的时候,你是给它输入了数据,它给你的结果就是它与你的互动,就是它带给你的数据价值。这个大数据本身也在随时为你创造价值,这样的话就变成一个双向互动的正循环,双方都给对方贡献了数据价值。任何大数据应用,如果在设计时就没有这种双向、互利的正循环的话,是跑不起来的,本质上就不是大数据。
大数据应用,反应速率才是关键
最后,我还想强调的是反应速率——大数据的数据价值越大,它的反应速率就要越高。比如说谷歌的搜索,你输入一个关键字看到的结果,跟一个小时以后再输入同样的关键字得到的结果,很可能已经不一样了。因为它已经把一个小时内全球所有的点击重新计算了一遍,然后把信息做了结果优化再反馈给你。
所以,大家可以想想看,反馈的速度越快,它创造的价值越大,消费者参与的动机就越大。数据越跑越大、反应越来越快、结果越来越好、用户参与会越来越大,才能变成一个黑洞效应。这是我想讲的大数据的核心概念。