首页 理论教育 SparkSQL支持的数据类型

SparkSQL支持的数据类型

时间:2023-06-21 理论教育 版权反馈
【摘要】:Spark SQL和DataFrames支持下面的数据类型,基本涵盖了所必须的数据类型。复杂类型● ArrayType:表示一系列数据类型为elementType的元素值。containsNull表示ArrayType中的元素是否可为空值。键的类型由keyType决定,值的类型由valueType决定。参数name定义了这个字段的名称,参数dataType定义了这个字段的数据类型,nullable表示这个字段的值是否可以为空。

SparkSQL支持的数据类型

Spark SQL和DataFrames支持下面的数据类型,基本涵盖了所必须的数据类型。

(1)值类型

● ByteType:用1个字节表示整数值。

● ShortType:用2个字节表示整数值。

● IntegerType:用4个字节表示整数值。

● LongType:用8个字节表示整数值。

● FloatType:用4个字节表示单精度浮点数

● DoubleType:用8个字节表示双精度浮点数。

(2)字符串类型

● StringType:表示字符串值。

(3)二进制类型

(4)BinaryType:表示二进制值。

(5)布尔类型(www.xing528.com)

● BooleanType:表示布尔值。

(6)日期类型

● TimestampType:表示包括年、月、日、小时、分钟和秒的值。

(7)复杂类型

● ArrayType(elementType,containsNull):表示一系列数据类型为elementType的元素值。containsNull表示ArrayType中的元素是否可为空值。

● MapType(keyType,valueType,valueContainsNull):表示一组键值对的值。键的类型由keyType决定,值的类型由valueType决定。MapType类型中,键值不能为空。valueContainsNull表示value值是否可以为空。

● StructType(fields):表示一系列结构为StructFields(fields)的值。

● StructField(name,dataType,nullable):表示StructType中的一个字段。参数name定义了这个字段的名称,参数dataType定义了这个字段的数据类型,nullable表示这个字段的值是否可以为空。

Spark SQL中所有的数据类型都位于包org.apache.spark.sql中,如表4-6所示。

表4-6 数据类型表

978-7-111-52928-6-Part02-83.jpg

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈