8月15日,市委召开中心组理论学习报告会,邀请我国光纤传送网与宽带信息网技术专家、中国工程院院士邬贺铨教授作题为《大数据的机遇与挑战》专题讲座。邬贺铨教授表示,大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。
A.未来网络什么样?
我们在享受着互联网带来的巨大福利的同时,也从未放弃对下一代互联网——未来网络的探索和努力,它不仅安全、可信、能移动,还能够支持物联网、泛在网(即广泛存在的网络,它以无所不在、无所不包、无所不能为基本特征,以实现在任何时间、任何地点、任何人、任何物都能顺畅地通信为目标)。
挥挥手眨眨眼,手机就能自动翻页
从70多年前发明的电视机,到40多年前问世的光纤和互联网,再到30多年前出现的移动通信以及十多年前的3G,半个多世纪以来,计算机技术改变着我们的工作和生活。
如今的手机发展之快,是我们始料未及的:2000年手机可以听MP3,2001年有了彩屏,2002年手机能拍照,2003年可以手写输入,2005年可以看电视,2006年有了定位系统GPS,2007年可以上Wifi,2008年有了触摸屏,2010年能扫二维码,去年我们有了光线感应器手机。这种白天手机不发亮,晚上光线不好可自动发亮。还有一种手机,老年人眼花,看短信把手机放远一点,一检测到这个动作,手机屏幕会自动显示变大、重新编排字体。
手机装上感应器,老人随身携带手机时,就能区别你是弯腰还是摔跤,如果摔跤爬不起来,它就会监测到这个信息,发个短信到医院或者亲人那里,也许还没等你起身,救护车就已经到来。
为了跟苹果手机竞争,微软搞了语音翻译。手机上网,网上有26种语言翻译,你这边讲中文,你的朋友那边直接听英文,学外语似乎没有什么用处了。
手机的输入模式也更加丰富,苹果触摸屏,可触摸翻页。谷歌为了跟苹果竞争,如今在做挥手翻页,有公司觉得何必挥手,手机上有摄像头,转一下左眼,转一下右眼,就能实现自动翻页。
交通?节能?它全帮你搞定
除了互联网发展到移动互联网,互联网现在已经拓展到了物联网。很多人认为物联网将取代互联网,这种观点其实是错误的,事实上,互联网是最适合做物联网的基础网络。
什么是物联网?相对于互联网而言,它是个专用网。互联网是存储性的,物联网没有存储性。比如建一个物联网,监控周围的温度、环境、安防,只有郑州才能接进去,其他的接不进去的。再比如国家电力公司的物联网南方电网是接不进去的。
交通?不是问题
交通拥堵,是郑州的一大顽疾。车越来越多,汽车一变线一追尾就容易发生安全事故,事故一多,道路效率就会相对较低。实际上,汽车里有很多电子系统,高档车的电子系统占了60%,问题的关键是,我们汽车的电子系统基本上是静止的,一个汽车有上百万软件,我们很多企业不敢去碰。
过去我们的汽车发动机是进口的,电子系统是进口的。所以搞汽车的人士说我们国产的车企既有“心脏病”又有“神经病”。将来,郑州发展产业,汽车电子将是很大的产业。这个产业做好了,安全事故没了,道路效率上去了,交通?再也不成问题。
节能?它帮你做
城市快速发展,郑州的高楼大厦也越来越多,很多大楼都有中央空调,中央空调有个问题,不管这个房间朝南朝北,什么时间,有人没人,都一样的温度,实际上,这样很浪费。
物联网完全有能力让类似问题迎刃而解:用传感器监控每个方面不同时间的温度。大概可以节省多少呢?30%。别小看这30%的节能,据统计,一个建筑寿命期间的电费跟建筑物建设成本相当。
家庭应用?全能搞定
开空调,用电饭煲煮饭,这些都要回到家才能做?没有必要,这些家务事儿,即使你人在闹市,互联网也能帮你全部搞定。
B.大数据浪潮呼啸而至
现在很多城市都装了摄像头,只要你上街,就会被拍到。一个月下来,数据量就会很大,这是政府目前用得非常多的数据。飞机只要启动,就会形成数据,通过对数据进行分析和测试可以延长飞机寿命。
大数据系统可以详细对用户的上网活动进行记录,你用什么IP地址,几月几号几点几分在哪里上网,上过一些什么网站,什么时候又从这个网站下来上了另外一个网站,都非常详细。
淘宝网一分钟就处理9万个订货单据,新浪微博高峰期一秒钟接受一百万次请求,百度每天要处理60亿次搜索……人们每天上网、玩游戏、用手机、去超市、住宾馆、买车票都会留下足迹,每个人的个人信息大都被广泛的收集,关键是怎么利用。
预计到2016年,3分钟可以在网络上传输360万小时视频,相当于全世界已经生产的全部电影。这是个什么规模呢?一个人不睡觉、不吃饭连续看34年才能看完这3分钟所传的视频。这一切,都是大数据带来的影响。
网民一个月下载多少兆东西?1998年下载1兆,到2003年下载100兆,2008年下载一个G,到明年,一个月可以下载10G。
现在,一天的互联网流量等于2001年一年的流量。现在每年全世界生产的数据,年增40%,全世界的信息总量每两年就可以翻一番。2012年和2013年全世界生产的数据量等于人类有历史以来一直到2011年所产生信息总量的总和。两年等于1万年。
什么是大数据?大数据是指没有办法在容器里用常规的软件处理。当然说到大数据,并不等于小数据就没有用。只是越大数据的代表性越好。大数据的特征是,量大、变化快、品种多、价值高。
利用大数据要学会“海底捞针”,“沙里淘金”,大数据中大量是垃圾,要从垃圾里找出有用的。美国已把大数据应用到卫生、科研、国防等多个领域。
C.大数据应用领域多多
在制造业,利用大数据可以减少新产品开发的时间。更重要的是避免库存,现在往往很多产品是库存,一年损失1000亿。华尔街对冲基金根据购物网站的评论来分析这个企业销售好不好。
在商业领域,大家到沃尔玛超市买东西,买完后交费时都会打一张消费单。沃尔玛根据这个分析出一个结论,把“尿不湿”跟啤酒放在一起最好卖。年轻的爸爸到超市给婴儿买“尿不湿”,顺便犒劳自己买啤酒,所以把这两个东西放在一起销量大增。
在金融领域,华尔街资本市场分析全世界的微博账户留言来判断民众情绪。民众高兴时买股票,焦虑时会抛股票,根据这个看全世界是高兴的人多,还是焦虑的人多。还有,平安集团利用大数据分析消费者的行为。招商银行通过数据分析区分出信用卡经常出现的场所。中信银行通过数据库解决营销。
交通服务也可引入网络服务。北京公交一卡通每天产生4000万条刷卡记录,每天地铁1000万,每天北京5000万个交通记录,如果拿到这个分析交通记录,可知道多少人从哪里出发,到哪里换车。
大数据也可用在科学研究领域,早年科学研究靠试验,后来靠理论,再后来计算机出来可以仿真。现在则过渡到数据密集型科学。
有的公司搞人脸识别技术,我们的手机输入密码,实际不用输入密码,手机上有摄像头,用摄像头对准你,就可自动打开而不需密码。
此外,还可掌握交通流量,现在开车的人都带手机,根据手机在这个路口走了多长时间,运营商从数据量分析知道这个地方的车流量,堵不堵。
“十一”长假要到了,长假之前半个月,很多人会在网上搜索旅游点、火车、飞机航班,还有自驾游路线。实际上,可以在半个月前就能知道今年国庆长假哪个旅游点会堵,哪里车会堵,这也是靠大数据提供的信息。
D.大数据技术面临挑战
大数据挖掘涉及存储、处理、分配、管理、存放、安全等很多环节,数据有很多垃圾,需要压缩、清洗、过滤、发现,进行关联、分配、区域、序列等很复杂的算法。比如说我们监控太湖的蓝藻,用到很多传感器,但是所有传感器并不是跟蓝藻直接相关。溶解氧、水温、传感器跟蓝藻关系密切,而氨氮、硝酸盐跟传感器不密切。所以收集的数据需加权处理。
计算机虽然没有人的智慧,但大数据分析必须靠计算机。大数据存储量往往很大,很快,不能等着数据存完了才能分析,要一边找一边分析,所以这个工作量非常大。我们过去的分析数据是静止的,要带数据进程序。现在数据是活的,要带程序进数据。另外,因为大数据数据量很大,结果必须简明扼要。
举个例子,上海的延安路、江苏路,里面很多交通摄像头,背后连着电视屏,电视屏在交通管理中心,交通管理中心这面墙尽管很大,但放不下全上海的电视屏,所以每10秒钟一条路,大数据的要求是什么呢?要把它整理起来,把一条路的视频变成一个,把全上海市的交通合成一个图。
名词解释:大数据
或称巨量资料,指的是规模非常巨大和复杂的数据集,大数据有三个V,一是数据量(Volume),数据量是持续快速增加的;二是高速度(Velocity)的数据;三是多样化(Variety)数据类型和来源。
大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。此外,数据又并非单纯指人们在互联网上发布的信息,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。