新老检测方式对比：如何更快发现问题？

面对公司安全需求，传统方法如图11-1所示。

图11-1 传统消息监测方式

由图11-1看出，传统的安全监测方式是基于事件发生，将事件进行标准化分析关联，分析事件是否是异常行为，从而判断是否响应警告，然后储存警告日志信息。传统的这种监测方式响应方式比较慢，越来越达不到他们的要求。

新的检测方式如图11-2所示。

图11-2 新的监测方式

新的监测方式原理是基于上下文、行为动作和异常情况。新老检测方式对比如图11-3所示，通过传统监测方式和新的监测方式对比，可以发现新的监测方式能更快的发现问题，从而尽早做出对策，防范和减少损失。

图11-3 新老检测方法的对比

公司根据实时的要求，选择部署Spark，原因有如下几点。

1）Spark是一个统一的平台（兼有Spark、SparkSQL、Sparkstreaming），能很容易地对历史数据和实时数据进行查询分析。(www.xing528.com)

2）应用范围多样和对多种数据兼容，能将各种数据集中在一个平台并能应对各种应用实践。

3）易于使用的接口，能用SQL语句使用该平台的强大功能

此外，应用Spark能使相关的组件使用量减少，见图11-4^[7]所示，使平台应用搭建更容易，同时因为连接的组件更少，能明显减少出错的机率。

图11-4 应用Hadoop平台的相关组件和Spark平台的相关组件对比

从图11-4中容易看出，使用Spark平台使用的组件相对要少50%左右，这样程序的出错率也能相应减少。

Telefonica公司的应用架构如图11-5^[7]所示

由图11-5可以看出，公司采用Kafka作为消息队列订阅和分发消息，使用Storm来实时融合各种渠道的数据，采用Cassandra储存数据和Spark来批处理数据。

·图11-5 公司的生产应用架构