大数据的前世今生:诞生、发展、未来?
厦门学满分 > 学习网 > 电脑IT设计 > 大数据 > 大数据的前世今生:诞生、发展、未来?

厦门大数匠教育-最新动态NEWS

大数据的前世今生:诞生、发展、未来?

文章导读:大数据的前世今生:诞生、发展、未来?

大数匠教育大数据知识分享社区,平台聚集大数据行业大牛与广大大数据爱好者,为用户提供知识分享、经验交流等碎片化学习的机会和平台,并直接提供VIP私人定制技术指导和会员服务,通过专业化的行业技术支持,大大

大数据的前世今生:诞生、发展、未来?

资料整理:厦门大数匠教育发布时间:2019-10-22已帮助:44人

大数匠教育大数据知识分享社区,平台聚集大数据行业大牛与广大大数据爱好者,为用户提供知识分享、经验交流等碎片化学习的机会和平台,并直接提供VIP私人定制技术指导和会员服务,通过专业化的行业技术支持,大大提升了会员实习效率和技术交流的动力。
大数据的前世今生诞生发展未来

1大数据的起源

  人们通常认为,大数据起源于谷歌的“三驾马车”:谷歌文件系统、MapReduce和BigTable,这三篇论文分别发表于2003年、2004年和2007年。2007年亚马逊也发表了一篇关于Dynamo系统的论文。这几篇论文奠定了大数据时代的基础。为什么因为Google发表了三篇论文,就有了“大数据”的概念呢?原因众说纷纭。我个人的理解是这样的:Google作为互联网泡沫破灭后次上市的大型IT公司,它的市值在上市之后飞速增长。原因在于,Google的广告业务做得非常成功,而广告业务成功的很大一部分原因是它用了大数据技术。当时,很多相关的互联网企业因此都认为大数据是改变自己命运的机会,因此纷纷加入大数据圈子,入局的有微软、阿里巴巴、雅虎、Facebook、LinkedIn、Twitter等公司。

2抱团取暖的Hadoop生态圈

  大部分公司围绕在一个叫作Hadoop的项目周围,这个项目最初开始于2006年1月,是“大数据之父”道格·卡丁(Doug Cutting)把他对谷歌文件系统、MapReduce的实现,从爬虫项目Nutch里独立出来形成的。Hadoop的主要贡献者是雅虎,Facebook、LinkedIn、Twitter等公司也都贡献了一些影响深远的项目。Hadoop系统,在2008年6月就比较稳定了。当时Hadoop并不是很有名,我之所以知道这个事情,是因为我那个时候正在IBM研究院实习,而我实习的组是IBM内部两个最早开始使用Hadoop做研发的组之一。当时我参加了一次Hadoop在硅谷的活动,这个活动上雅虎的Hadoop开发人员非常兴奋,因为他们次拿到了全球排序算法的冠军。那个会场设置在雅虎,Facebook、LinkedIn和Twitter的人也都出席了。这些公司除了对Hadoop的贡献以外,雅虎贡献了Pig、Facebook贡献了Hive、LinkedIn贡献了Kafka、Twitter贡献了Storm。今天去看雅虎,你可能觉得雅虎这个公司已经算是倒闭了,一无是处。但是在2008年到2009年的时候,雅虎看起来是非常成功的。雅虎曾经是“互联网股”,引领了互联网门户时代的发展。所以那个时候,雅虎自然成了其他互联网初创公司的中心,由它主导大家一起来“造一个轮子”,让这些互联网公司有一套可以和Google的“三驾马车”相媲美的系统。为什么这些公司没有信心单干,自己独立做一套呢?我想主要原因是,这些公司都意识到自己的技术实力和Google相比差距巨大。

3 自己造轮子的微软和阿里巴巴

  Hadoop以外的系统主要有两个:一个是微软自己研发的Cosmos,中文叫作“宇宙”;另外一个系统是阿里巴巴的ODPS。微软自己研发Cosmos的原因很简单:一方面,微软当时和开源社区关系不好,无法和雅虎一起合作;另一方面,微软当时虽然是“帝国没落”,但仍感觉自己很厉害,有信心凭借一己之力“造轮子”。我当时正在Cosmos组,整个Cosmos的技术架构有很多方面像谷歌。当时我们每个新人入门的时候,组内资深老人总是把谷歌的几篇论文给新人,帮助他们入门。可见微软虽然觉得自己厉害,但是没能改变参考谷歌系统的本质。阿里巴巴在决定做大数据的时候,实际上成立了两个团队:一个是在Hadoop基础上做开源系统,另一个是自研一套叫作ODPS的系统。两边都投入很多人,但是最后ODPS得到了大力支持,Hadoop团队衰弱了。

4 一场大论战

  大数据圈里发生了一次非常引人瞩目的事件。这次事件的一方是数据库领域的元老级人物迈克尔·斯通布雷克(Michael Stonebraker)和大卫·德威特(David Dewitt),另外一方是主导了谷歌技术发展的杰夫·迪恩(Jeff Dean)。这两群人就谷歌“三驾马车”之一的MapReduce是创新还是倒退,争得不可开交。传统数据库一方以一篇“MapReduce:一个巨大的倒退”(MapReduce:a Step Backward)博文掀起了这场论战。他们认为MapReduce是数据库领域的人早就淘汰了的,不值一提。但是谷歌那批人觉得MapReduce是一个伟大的发明。此次事件影响深远,但是当时双方的观点都太绝对了。在我看来,两方面都有道理,但是两方面谁都没有看到对方正确的地方。业界有些人则看明白了,并经过论证和思考开发了新系统,比如Spark。

5   Hadoop的生意经

  当一个开源的产品做得越来越好以后,就有人希望从开源产品里面赚钱。在Hadoop开源中赚钱的标志是Cloudera公司的诞生。几个人有感于现在的Hadoop难用,觉得如果能够让Hadoop这套系统可以变得更容易安装、更好用,可以卖给其他企业赚钱。所以,这几个人成立了一家叫作Cloudera的公司来做这个生意,并推出了一个Hadoop版本。有关Cloudera的详细情况,在Cloudera上市之前,我写了一篇很详细的分析文章,你可以在公众号“飞总聊IT”里面找到这篇文章。之后有了另外一家公司,叫MapR。它的印度CTO原来在谷歌文件系统组工作,他觉得Hadoop的文件系统太差,就自己在印度召集了一群哥们儿,重新写了一个和Hadoop兼容的文件系统,做了一个叫作MapR的Hadoop版本。

6 后MapReduce时代

  Hadoop发展过程中一个标志性的公司是Facebook。Facebook开始是开源系统里面非常重要的一个角色,它在Hive上投入了大量的资源。但是,Facebook在2012年转做了Presto。Presto查询速度非常快,也没有用到MapReduce,它的势头很猛,很快就战胜了Hive。另外一个是伯克利大学AMP实验室开发的Spark,Spark的兴起算是Hadoop生态圈一个比较关键的转折点。Spark的战略非常牛,最开始他们没有跟Hive一争高下,而是选择了机器学习。Spark兴起以后,慢慢地花了很多力气做SQL,最近Spark又在努力做流计算。除了Spark以外,还有另外一个产品叫Flink。在国内,阿里巴巴用Flink用得比较多。Flink是德国柏林理工大学团队在2014年重新开始的一个项目。他们2008年做了一个项目,但是失败了。这几年的流计算领域,主要就是Spark和Flink在竞争。

7大数据的未来

  大数据时代的有些未来是可以预见的。是数据库能力的提升。谷歌的Spanner和亚马逊的Redshift都体现了这种变化:数据库的能力越来越强,它可以解决很多大数据的问题。第二点是大数据平台的发展非常强调实时性。流计算现在变得非常重要,我个人很看好流计算的发展。第三点是AI给大数据准备了什么。谷歌的一篇论文中说到,我们可以通过AI技术给大数据建立更好的索引。我认为,AI促进大数据发展和大数据融合将来是个很重要的方向。
大数匠教育大数据领域实战型人才孵化与培养,是国内领先的专注于大数据领域实训业务的实践者,通过线下、线上以及混合式教学程度的为学员提供学习的便利性。同时,为IT教育培训行业以及企业提供大数据人才的定制化训练和推荐服务,为大数据行业人才制定行业标准和认证。

厦门大数匠教育-最新动态 NEWS更多>>

学校首页| 课程导航| 最新开班| 学校简介| 名师推荐| 校区地址| 最新优惠| 学员问答| 学员评价| 最新动态| 学校相册

厦门大数匠教育 厦门大数匠教育,厦门大数匠培训,大数匠培训机构,大数匠培训费用

学员 团购预约热线:400-882-6911
沪ICP备12032008号-15号 电子营业执照 教育资质 全国优秀教育网站 企业信用等级AA级

以上所有课程信息知识产权归学校所有,特此声明学满分网站由上海百教网络科技有限公司研发

扫描手机访问