Spark SQL和DataFrames支持下面的数据类型,基本涵盖了所必须的数据类型。
(1)值类型
● ByteType:用1个字节表示整数值。
● ShortType:用2个字节表示整数值。
● IntegerType:用4个字节表示整数值。
● LongType:用8个字节表示整数值。
● FloatType:用4个字节表示单精度浮点数。
● DoubleType:用8个字节表示双精度浮点数。
(2)字符串类型
● StringType:表示字符串值。
(3)二进制类型
(4)BinaryType:表示二进制值。
(5)布尔类型(www.xing528.com)
● BooleanType:表示布尔值。
(6)日期类型
● TimestampType:表示包括年、月、日、小时、分钟和秒的值。
(7)复杂类型
● ArrayType(elementType,containsNull):表示一系列数据类型为elementType的元素值。containsNull表示ArrayType中的元素是否可为空值。
● MapType(keyType,valueType,valueContainsNull):表示一组键值对的值。键的类型由keyType决定,值的类型由valueType决定。MapType类型中,键值不能为空。valueContainsNull表示value值是否可以为空。
● StructType(fields):表示一系列结构为StructFields(fields)的值。
● StructField(name,dataType,nullable):表示StructType中的一个字段。参数name定义了这个字段的名称,参数dataType定义了这个字段的数据类型,nullable表示这个字段的值是否可以为空。
Spark SQL中所有的数据类型都位于包org.apache.spark.sql中,如表4-6所示。
表4-6 数据类型表
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。