2013年12月5-6日,中国最具影响、规模最大的大数据领域技术盛会——2013中国大数据技术大会(BigDataTechnologyConference2013,BDTC2013)在北京世纪金源大饭店隆重开幕。
大数据时代已经到来
2013年,大数据应用带来了令人瞩目的成绩。作为新的重要资源,世界各国都在加快大数据的战略布局,制定战略规划。美国奥巴马政府发起了《大数据研究和发展倡议》,斥资2亿美元用于大数据研究;英国政府预计在大数据和节能计算研究上投资1.89亿英镑;法国政府宣布投入1150万欧元,用于7个大数据市场研发项目;日本在新一轮IT振兴计划中,将发展大数据作为国家战略层面提出,重点关注大数据应用技术,如社会化媒体、新医疗、交通拥堵治理等公共领域的应用。中国的“基础研究大数据服务平台应用示范项目”正在启动,有关部门正在积极研究相关发展目标、发展原则、关键技术等方面的顶层设计。
云计算、物联网、智慧城市、移动互联,新技术与应用的不断涌现,加速了“大数据”时代的到来。大数据,已经超越数据本身,转向了数据的资产化和服务化,转向了挖掘与分析数据所带来的新商业价值,转向了以技术维护国家安全利益,与此同时,为信息服务产业和传统商业模式带来了巨大的机遇与挑战。
在这样的背景下,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2013中国大数据技术大会在京隆重举行。包括李国杰、陆汝钤、IonStoica、DhabaleswarPanda等国内外院士在内的近50位专家和业界领袖探讨了大数据技术生态系统的现状和发展趋势。
大会为期两天,以“应用驱动的架构与技术”为主题,共设立“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”,“大数据基准测试(Benchmark)”五大技术分论坛,并首次增加“2013中国智能交通与大数据技术峰会”和“传统行业如何驾驭大数据总裁研讨会”。作为分论坛数量最多的一届大会,2013中国大数据技术大会预计参会人数首次突破2000人。
大会内容涵盖数据的获取与清理、传输、存储、计算、挖掘、展现、开发平台与应用市场等方面,覆盖了数据生产的全生命周期。除了Hadoop2.0系统YARN、BDAS/Spark、飞天等基础架构外,还探讨了HDFS、HBase、Hive等Hadoop生态系统重要技术,Storm等流式计算,Impala和Drill等实时计算,以及NoSQL、NewSQL和BigSQL等的最新进展。本次大会特别强调大数据的行业应用,有互联网、金融、电信、交通、医疗各领域的创新案例剖析,对大数据资源的法律法规、大数据商业利用的政策管制等也有深入讨论。
大会主会,技术领袖聚而论道
作为已成功举办了六届的技术会议,BDTC2013汇聚了业内精英,讲师阵容盛大。12月5日,第一天主会场,十余位技术领袖探讨大数据技术生态系统的现状和发展趋势。
ApacheHBase项目管理委员会主席MichaelStack的“TheStateofApacheHbase”主题演讲分享了HBase的现状和将来;UCBerkeley计算机教授、AMPLab共同创始人、Spark、Mesos核心设计者IonStoica、IEEEFellow、俄亥俄州立大学计算机系教授DhabaleswarPanda带来了国际最新技术思想和实践经验。
在大数据技术与应用的洪流中,国内互联网公司、运营商,以及传统IT制造商已经站到最前线。百度、腾讯、阿里、中国移动的技术领袖们再次聚首,理念碰撞。百度大数据首席架构师林仕鼎讲述“新计算时代”,腾讯数据平台部助理总经理蒋杰解密“大数据处理的规模化与实时化演进”,阿里飞天平台总架构师唐洪分享“飞天开放平台”,中国移动研究院院长黄晓庆和程序主席孙少陵剖析“大数据实时处理技术发展趋势及中国移动实践和展望”,工信部电信研究院政经所互联网部主任马志刚解读“数据开放共享问题研究”,带来创新思考的火花。
主题论坛,实战出发分享经验
12月6日,在“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”,“大数据基准测试(Benchmark)”、“2013中国智能交通与大数据技术峰会”,以及“传统行业如何驾驭大数据”等七大分论坛中,来自于Hortonworks、Cloudera、LinkedIn、阿里巴巴、腾讯、百度、中国移动、华为、搜狐、Intel、小米科技、奇虎360、海尔、去哪儿等海内外一线IT公司的60余位工程师精英,从现实出发将问题和解决方案讲深讲透。
“大数据架构与系统”汇聚Apache、Hortonworks、LinkedIn、VMware、阿里、腾讯、智明星通、百川通联等一线专家,重在研讨大数据架构与系统实践经验。其中,Hortonworks技术总监GuntherHagleitner及高级技术专家TedYu分享了HBase与HOYA,Hadoop2与YARN的最新技术实践;LinkedInHadoop核心团队成员俞晨杰就“LinkedIn大数据应用和Azkaban”做经验分享;阿里数据平台事业部海量数据技术专家罗李的“构建一个跨机房的Hadoop集群”和腾讯数据中心资深专家翟艳堂的“腾讯大规模Hadoop集群实践”从不同层面深入探讨互联网行业的Hadoop集群实践。
“大数据技术”意在探讨大数据技术方向,分享实战成果。其中,百度系统部资深系统研发工程师胡殿明的“基于大数据的硬盘故障预测”,浙江大学教授何晓飞的“机器学习与大数据”,北京大学“百人计划”研究员、北京大学信息科学技术学院博士生导师袁晓如的“大数据时代可视化和可视分析的机遇与挑战”从不同维度展示大数据技术应用方向。巨杉数据库CTO王涛的“基于ClouderaImpala的非关系型数据库SQL执行引擎”,奇虎360技术经理赵健博“奇虎360超大规模HBase集群增强与改进”和阿里搜索事业部高级技术专家王峰的“阿里搜索实时流计算技术”则在技术细节方面更加突出实战处理。
“大数据应用”关注的是技术在行业中的应用落地。工业和信息化部电信研究院专家魏凯、中国移动经分(BI/DW)系统规划项目负责人何鸿凌、英特尔数据中心软件部首席架构师陈奇、腾讯精准推荐中心广告推荐负责人薛伟、宏源证券研究所副所长易欢欢,与搜狐、海尔、小米、数据堂、阿里巴巴的技术专家们携手带来一场大数据应用的盛宴。
“大数据研究与发展”与“大数据基准测试(Benchmark)”论坛中,来自俄亥俄州立大学、中国科学院、中科院计算所、西北工业大学、清华大学、中国人民大学和华东师范大学的专家学者们就大数据基准测试展开深入探讨,共议大数据发展中技术方向与基准测试标准。
与此同时,“2013中国智能交通与大数据技术高峰论坛”和“传统行业如何驾驭大数据总裁研讨会”,突出交通行业实践,贯通企业高层。上海市城乡建设和交通发展研究院主任何承、北京市交通运行监测调度中心(TOCC)副主任张可、深圳市综合交通运行指挥中心总工程师高工关志超从不同维度分析上海、北京、深圳的交通大数据应用现状与存在问题。奇虎360科技有限公司首席技术官谭晓生,IBM大中华区智慧城市首席规划师岳梅樱,中国移动通信研究院云计算系统部大数据产品开发室技术经理徐萌,百度LBS技术总监顾维灏从大数据安全、智能交通设计、中国移动大数据领域应用实践、导航地图与定位系统应用等角度提供创新的思考。而来自互联网和传统行业的总裁们,就大数据对传统行业形成的影响和冲击,运用大数据驱动商业模式创新,平衡大数据应用过程中的高投入与不易量化的产出等问题,展开了深入探讨与碰撞。
资源互通,繁荣产业生态系统
会上正式发布的《大数据热点问题与2014年发展趋势报告》和《中国大数据技术与产业发展白皮书》,代表了百余位技术专家在大数据典型应用现状、大数据技术体系现状、大数据IT产业链与生态环境、大数据人才资源、大数据发展趋势与建议等方面的深入思考,为未来大数据产业发展奠定坚实的理论基础。
除此以外,第一届CCF大数据学术会议(CCFBigData2013)与第一届中国大数据技术创新与创业大赛与BDTC2013形成联动,资源互通,共同繁荣大数据产业生态系统。
秉承开源与分享的精神,BDTC2013同步公开讲师演讲PPT,所有技术爱好者都可以第一时间获得核心技术资料,分享到来自一线专家的实践经验,展望大数据技术与应用更为广阔的发展未来。作为大数据技术与应用深度结合的新起点,BDTC2013已经成为产业界、科技界与政府部门密切合作的新平台,为推动我国大数据的产学研用做出了重大贡献。
历届大数据技术大会背景介绍:
从2008年60人规模的HadoopinChina沙龙到2012年上千人的技术大会,伴随着大数据技术大会的发展,历届大数据技术大会见证了中国大数据技术与应用的变革。
本次大会的前身是“Hadoop与大数据技术”大会。Hadoop高可靠、高容错、高扩展、高效率的特性使其在同类的分布式系统中异军突起,并在众多行业和科研领域中被广泛采用。为了更好地发扬Hadoop的开源精神,扩大Hadoop技术在中国的影响,促进Hadoop技术爱好者之间的交流,中科院计算所于2008年发起并组织了第一届Hadoop技术沙龙,并于2009年创建了Hadoop开源社区(hadooper.cn),同年11月,HadoopinChina2009大会在京成功召开。此后,随着Hadoop技术越来越受到各界的青睐,Hadoop中国云计算大会也从沙龙发展成一个知名的技术会议,2011年第五届“Hadoop中国2011云计算大会”千人共聚一堂,共话技术发展。
2012年,面对大数据所带来的巨大挑战与机遇,中国计算机学会于10月正式成立了大数据专家委员会,意在探讨大数据的核心科学与技术问题,推动大数据学科方向的建设与发展,同时构建面向大数据产学研用的学术交流、技术合作与数据共享平台。为了迎接大数据时代的到来,Hadoop中国云计算大会与CSDN大数据技术大会合并为“Hadoop与大数据技术大会”。
2013年,大数据技术与应用的发展速度一日千里。大数据,已经超越数据本身,转向数据的资产化和服务化,转向挖掘与分析数据带来新商业价值,转向以技术维护国家安全利益,并为信息服务产业和传统商业模式带来了巨大的机遇与挑战。为此,大会正式更名为“中国大数据技术大会(BigDataTechnologyConference,BDTC)”。