函数名称：computeLength及UDAF函数类wordCount。
函数功能：computeLength函数统计输入字符串的长度；UDAF函数类wordCount统计输入单词的个数。
函数示例：这个示例在一条SQL语句中同时使用了UDF和UDAF。其中，UDF是用来计算字符串的长度，UDAF则是完成词频统计的功能。
1）创建SparkContext对象及SQLContext。
2）模拟实际使用的数据，构建数组bigData。
3）基于提供的数据创建DataFrame：通过sc的parallelize方法读入bigData数据；将big-DataRDD转换成RDD[Row]；构建StructType变量（单词，字符串类型，允许为空）；通过sqlContext.createDataFrame方法根据bigDataRDDRow，structType构建DataFrame，将bigDat-aDF注册为临时表bigDataTable。
4）按照模板实现UDAF：
●重载实现方法inputSchema：返回StructType字段（输入字符，字符串类型，允许为空），作为MyUDAF函数的输入参数；
●重载实现方法BufferSchema：返回StructType字段（计数次数，浮点类型，允许为空），作为MyUDAF函数的中间结果的值；
●重载实现方法dataType：dataType表示MyUDAF函数返回值的类型是整型；
●重载实现方法deterministic：设置true，在给定输入值的前提下，MyUDAF生成一组相同的结果；
●重载实现方法initialize：初始化计数次数为0，用于初始化聚集缓冲区（MutableAg-gregationBuffer）的值；(www.xing528.com)
●重载实现方法update：每读入1行，将计数次数计为1，在缓冲区的第0个元素原计数次数基础上累加1作为新的计数次数；
●重载实现方法merge：merge用于合并两个聚集缓冲区，将第一个缓冲区的第0个元素计数值加上第二个缓冲区的第0个元素计数值，并将结果存储到MutableAggregation-Buffer；
●重载实现方法evaluate：MyUDAF函数的最终计算结果为buffer的第0个元素（即单词累计计数次数）。
5）SQLContext UDF函数的综合应用：计算字符串的长度。
●在sqlContext.udf中注册computeLength的自定义函数：输入字符串，统计字符串的长度。
●直接在SQL语句中使用computeLength UDF，在临时表bigDataTable中查询，查询单词名、使用computeLength方法计算单词长度，打印输出结果。
6）SQLContext UDAF函数的综合应用：计算词频统计。
●在sqlContext.udf中注册wordCount的自定义函数，将创建的MyUDAF实例传入。
●在sqlContext.sql语句中使用UDAF，在临时表bigDataTable中查询，根据单词分组，查询单词名、使用MyUDAF UDAF函数统计单词次数，使用computeLength方法计算单词长度，使用show（）打印输出结果。
在本地运行，结果如下所示。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
