Spark从创立至今，成为大数据领域风尖浪口的热门项目只花了六年左右的时间，其具体发展大事记如下。
● 2009年，Spark诞生于伯克利分校AMPLab。
● 2010年，项目开源，很多早期关于Spark系统思想的论文发表。
● 项目开源之后，在GitHub上成立了Spark开发社区并在2013年成为Apache孵化项目。
● 该项目在2014年2月成为Apache顶级项目。
● 2014年5月30日，Spark1.0.0版正式上线。
Spark项目组核心成员在2013年创建了Databricks公司，到目前为止已经在San Francisco连续举办了从2013年到2015年的Spark Summit峰会。会议得到大数据主流厂商Hortonworks、IBM、cloudera、MAPR和Pivotal等公司的支持和大数据方案解决商Amazon、DATASTAX和SAP等公司的合作。Spark的用户和应用情况如图1-1[1]所示。
图1-1截止2015年Spark的主要用户和应用
从图1-1中可以看出，Spark的影响力在2014年（可参考2014年Spark峰会资料）的基础上不断扩大，已经有越来越多的Spark用户使用该平台，其中包括传统工业厂商TOYOTA和著名O2O公司Uber与Airbnb，说明Spark的用户领域不断深化到传统工业界和互联网与传统行业交叉的领域。不仅如此，越来越多的大数据商业版发行商，例如Cloudera以及Hortonworks也开始将Spark纳入其部署范围，这无疑对Spark的商业应用起到巨大的推广推动作用，也显示了Spark平台技术的先进性。
从Spark的版本演化速度看，说明了这个平台具有旺盛的生命力以及高的社区活跃度。尤其从2013年以来，Spark进入了一个高速发展期，代码库提交量与社区活跃度都有显著增长。以活跃度来说，Spark在所有Apache基金会开源项目中位列前三。相较于其他大数据平台或框架而言，Spark的代码库最为活跃，表现出强劲的发展势头，从图1-2[2]中可以看到。(www.xing528.com)
图1-22014年6月30日到2014年12月30日，6个月中Spark代码活跃情况
从2013年6月到2014年6月，参与Spark代码贡献的开发人员从原来的68位增长到255位，截至2015年6月参与开发的人员已经达到730位[3]，参与贡献的公司逐渐有来自中国的阿里巴巴、百度、网易、腾讯和搜狐等公司。代码库的代码行也从2014年的17万行增长到2015年的40万行。图1-3[4]为截至2014年Spark代码贡献者每月的增长曲线。
图1-3截至2014年Spark代码贡献者每月的增长曲线
从图1-3可以看出，Spark从2010年到2014年间代码贡献者的数量不断增长，而且增长的速度越来越快。到2015年，每月的代码贡献者增长到现在的135位，在这些代码贡献者中出现了很多中国公司和开发者的身影。例如目前世界上最大的Spark集群在腾讯，拥有高达8000个节点；最大的单任务处理数据量达到1PB，这项记录是由阿里巴巴公司和databricks公司共同持有。中国之所以能在这方面发展迅速，是因为中国市场巨大，信息产业的发展积累了更多数据，进而产生更为迫切的大数据处理需求，最后通过市场需求来推动技术发展。
除了影响力巨大的SparkSummit之外，Spark社区还不定期地在全球各地召开小型的Meetup[5]活动。其中在中国的北京、上海和深圳都有相应的Spark技术分享的Meetup活动。SparkMeetupGroup已经遍布北美、欧洲、亚洲和大洋洲。图1-4[6]为SparkMeetupGroups在全球的分布图。
图1-4全球MeetupGroups分布情况
从以上情况可以看出Spark的良好发展前景，国内外工业界和学术界都对其抱有极大兴趣。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
