【摘要】：1）当把数据从MySQL传输到HDFS上时，随着加载器数量而增加，Spark和MRV2下数据传输时间如图13-6[21]所示。图13-7 2.8M表记录下Spark和MRV2数据传输时间对比由图13-7可以看出，随着横轴加载器数量的增加，应用Spark时，纵轴的数据传输时间始终稳定在15s左右；而应用MRV2时，纵轴的数据传输时间先从40s逐渐下降到20s，再从20s开始缓慢上升到25s，花费的时间始终大于Spark。
为了检验采用Spark技术后会给Uber公司带来哪些改变，下面进行了以下几个测试。
1）当把数据从MySQL传输到HDFS上时，随着加载器数量而增加，Spark和MRV2下数据传输时间如图13-6[21]所示。
图13-6 Spark和MRV2数据传输时间对比
从上图中可以看到，随着横轴加载器数量的增加，纵轴Spark下的数据传输时间，刚开始稳定在25s左右，接着逐渐上升到60s，最后基本维持在60s左右；而纵轴在MRV2下的数据传输时间，从180s逐渐下降到65s，然后又缓慢上升到80s。但是，在MRV2下所花费的时间一直都比在Spark下花费的时间多，而且当Extractor数量增大很多的情况下，Spark平台依然表现出色，传输时间增加缓慢。
2）表记录为2.8M时在Spark和MRV2下数据传输时间如图13-7[22]所示。(www.xing528.com)
图13-7 2.8M表记录下Spark和MRV2数据传输时间对比
由图13-7可以看出，随着横轴加载器数量的增加，应用Spark时，纵轴的数据传输时间始终稳定在15s左右；而应用MRV2时，纵轴的数据传输时间先从40s逐渐下降到20s，再从20s开始缓慢上升到25s，花费的时间始终大于Spark。
由此可见，使用Spark技术可以实现良好的分区，达到共享经济和按需服务的要求，能够最优化地调度出租车资源，准确快速地响应需求，从而降低用户群体的沉淀、提升用户需求。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
