数据访问接口和查询语言详解

大数据系统的接口和查询语言取决于系统的存储模型。传统MPP数据库都是用关系模型,其查询语言为标准的SQL。而图形数据库有自己的查询语言,可以实现子图匹配、路径查询等功能。分布式文件系统具有以下三种接口类型:

(1)POSIX VFS。按照POSIX标准实现的VFS接口,可以直接挂在本地文件系统上。语义丰富,采用私有协议实现,需要在客户端机器上安装软件。

(2)NFS/CIFS。采用标准的文件共享访问协议,具有非常好的互操作性,可以直接挂在本地文件系统上。语义微弱,性能有一定损耗,不需要在客户端机器上安装软件。(www.xing528.com)

(3)REST API。面向对象存储接口,仅提供CRUD的编程接口。语义弱,需要在客户端机器上安装软件,并修改应用程序。目前在互联网领域中应用广泛。

针对Hadoop平台,HDFS采用MapReduce编程接口作为其访问接口,而构建在Hadoop之上的数据系统则提供各自存储模型所对应的查询语言和访问接口。例如,HBase提供API,用于数据表进行Key-Value形式的查询和增删改。Hive则提供称为HiveQL的查询语言,用于对关系表进行查询,HiveQL与SQL极其相似,但是带有一些SQL未提供的功能。为了方便对Hadoop的使用,一系列的查询语言和附加访问接口被提出。Pig是一种基于MapReduce的编程平台,它的访问语言Pig Latin是介于SQL和过程式程序设计语言之间的语言,结合了SQL语言的优势以及过程式程序设计的灵活性。Sqoop是一种用于在关系数据库和Hadoop之间进行数据迁移的命令式语言。Mahout则是构建在Hadoop之上的机器学习引擎,也拥有自己的一套访问接口。