新能源汽车大数据分析应用

新能源汽车大数据平台的存储技术主要依据专利——《GW2017I1293 发明.一种数据存储查询方法及系统》，它公开了一种数据存储查询方法及系统。该方法及系统应用于逻辑层和存储层相互独立的数据存储结构。它包括两种功能。在数据信息存储时，将数据信息存储到存储层，将存储数据信息的存储层的哈希值区间以及该区间的地址信息存储到逻辑层；在目标数据查询时，通过计算得到目标数据哈希值并据此查找该值所在的哈希值区间，然后根据找到的哈希值区间获取对应地址信息，进而直接定位到目标数据，无须遍历数据库中的所有数据。本小节介绍关于第一种功能——数据存储的方法。相关流程图如图3-7所示。

图3-7 新能源汽车大数据平台数据存储流程

1.哈希值^[2]及哈希算法介绍

哈希算法将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上来说基本上是不可能的。(www.xing528.com)

2.数据存储方法介绍

数据存储方法的特征在于所述数据存储方法应用于一种数据存储结构。所述数据存储结构包括存储结构相互独立的逻辑层和存储层；所述存储层的硬件存储结构为磁盘，所述逻辑层的硬件存储结构为内存；所述存储层包括多个磁盘数据存储表和磁盘数据合并表；每个所述磁盘数据存储表包括多个磁盘年数据存储表；每个所述磁盘年数据存储表包括12个磁盘月数据存储表；每个所述磁盘月数据存储表中包括多个磁盘日数据存储表；每个所述磁盘日数据存储表包括24个磁盘时数据存储表；所述磁盘数据合并表包括多个磁盘年数据合并表、多个磁盘月数据合并表以及多个磁盘日数据合并表；所述磁盘年数据合并表、所述磁盘月数据合并表以及所述磁盘日数据合并表相互独立；所述磁盘年数据合并表用于保存自然年获取的数据信息；所述磁盘月数据合并表用于保存自然月获取的数据信息；所述磁盘日数据合并表用于保存自然日获取的数据信息。所述磁盘数据存储表、所述磁盘年数据存储表、所述磁盘月数据存储表、所述磁盘日数据存储表、所述磁盘时数据存储表、所述磁盘年数据合并表、所述磁盘月数据合并表以及所述磁盘日数据合并表对应的哈希值区间互不相同；所述逻辑层包括缓存数据表、数据存储地址信息表、数据合并地址信息表以及数据哈希值存储表；所述数据存储地址信息表用于保存所述磁盘年数据存储表的哈希值区间及其对应的地址信息、所述磁盘月数据存储表的哈希值区间及其对应的地址信息、所述磁盘日数据存储表的哈希值区间及其对应的地址信息、所述磁盘时数据存储表的哈希值区间及其对应的地址信息；所述数据合并地址信息表用于保存所述磁盘年数据合并表的哈希值区间及其对应的地址信息、所述磁盘月数据合并表的哈希值区间及其对应的地址信息、所述磁盘日数据合并表的哈希值区间及其对应的地址信息。所述数据存储方法包括：获取数据信息；所述数据信息包括车信息和获取所述车信息时对应的时间信息；所述车信息包括车的唯一性标识信息和车的业务数据。

对所述数据信息进行处理，得到第一键-值对数据结构、第二键-值对数据结构、第三键-值对数据结构、第四键-值对数据结构以及第五键-值对数据结构；所述第一键-值对数据结构中的数据键存储所述车的唯一性标识信息，所述第二键-值对数据结构中的数据键存储所述时间信息中的年信息；所述第三键-值对数据结构中的数据键存储所述时间信息中的月信息；所述第四键-值对数据结构中的数据键存储所述时间信息中的日信息；所述第三键-值对数据结构中的数据键存储所述时间信息中的时信息。所述第一键-值对数据结构、所述第二键-值对数据结构、所述第三键-值对数据结构、所述第四键-值对数据结构以及所述第五键-值对数据结构中的数据值存储所述数据信息。根据所述哈希算法，分别计算所述第一键-值对数据结构、所述第二键-值对数据结构、所述第三键-值对数据结构、所述第四键-值对数据结构以及所述第五键-值对数据结构中的所述数据键的哈希值。按照所述第一键-值对数据结构中的所述数据键的哈希值，确定所述数据信息存储的磁盘数据存储表，按照所述第二键-值对数据结构中的所述数据键的哈希值，确定所述数据信息存储的所述磁盘数据存储表中的磁盘年数据存储表；按照所述第三键-值对数据结构中的所述数据键的哈希值，确定所述数据信息存储的所述磁盘年数据存储表中的磁盘月数据存储表；按照所述第四键-值对数据结构中的所述数据键的哈希值，确定所述数据信息存储的所述磁盘月数据存储表中的磁盘日数据存储表；按照所述第五键-值对数据结构中的所述数据键的哈希值，确定所述数据信息存储的所述磁盘日数据存储表中的磁盘时数据存储表，并将所述数据信息存入所述磁盘时数据存储表中。