首页 理论教育 Thrift工作机制解析

Thrift工作机制解析

时间:2023-07-02 理论教育 版权反馈
【摘要】:要想达到这种目标,就需要一种特定的机制来访问我们的Hadoop或者Spark。而Thrift Server正是起到这个作用,通过它就可以实现从Web的角度来访问Spark SQL。图7-1所示是一个非常经典的Spark SQL企业应用实现架构,从中可以看出Thrift Server的作用:图7-1 Spark SQL企业应用实现架构Thrift Server在JDBC/ODBC和Spark SQL之间架设了一座桥梁,通过JDBC/ODBC接口访问Thrift Server,Thrift Server访问Spark SQL。在实时性要求不高的情况下,JDBC/ODBC+Thrift Server+Spark SQL+Hive数据仓库架构甚至可取代以传统关系数据库为后台的数据处理系统。

Thrift工作机制解析

我们在布置分布式大数据系统时,希望给数据分析师或者运营人员提供一种工具,他们可以通过Web方式提交SQL查询,或者说直接通过Web控制台来操作大数据系统。

要想达到这种目标,就需要一种特定的机制来访问我们的Hadoop或者Spark。而Thrift Server正是起到这个作用,通过它就可以实现从Web的角度来访问Spark SQL。图7-1所示是一个非常经典的Spark SQL企业应用实现架构,从中可以看出Thrift Server的作用:

978-7-111-59197-9-Chapter07-1.jpg

图7-1 Spark SQL企业应用实现架构(www.xing528.com)

Thrift Server在JDBC/ODBC和Spark SQL之间架设了一座桥梁,通过JDBC/ODBC接口访问Thrift Server,Thrift Server访问Spark SQL。对用户而言,类似通过JDBC/ODBC访问Oracle数据库,用户通过JDBC/ODBC的接口访问Thrift Server,相当于直接访问操作Hive数据仓库中的数据。

在实时性要求不高的情况下,JDBC/ODBC+Thrift Server+Spark SQL+Hive数据仓库架构甚至可取代以传统关系数据库为后台的数据处理系统。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈