在Spark中支持java的用户定义类型

Question

在spark中是否支持UDT for java？

将JavaRDD转换为JavaSchemaRDD时，JavaSQLContext是否支持用户定义类型（UDT）？

如果是，是否有任何示例来演示此功能。

Answer 1

是的，最简单的方法是通过反射来推断它。 See the SparkSQL documentation然后单击Java选项卡。然后，阅读标记

Inferring the Schema Using Reflection

编辑从评论

我不知道的是，Java API的作为很容易充实的一个阶，如此看来，以巢类型，你的节可能需要自己构建模式：

//First create the address 
List<StructField> addressFields = new ArrayList<StructField>(); 
fields.add(DataType.createStructField("street", DataType.StringType, true));  
StructType addressStruct = DataType.createStructType(addressFields) 

//Then create the person, using the address struct 
List<StructField> personFields = new ArrayList<StructField>(); 
fields.add(DataType.createStructField("name", DataType.StringType, true)); 
fields.add(DataType.createStructField("age", DataType.IntType, true)); 
fields.add(DataType.createStructField("address", addressStruct, true)); 

StructType schema = DataType.createStructType(fields);