从Spark数据集获取配置单元分区

Question

我正在研究写入S3后会自动将表和分区注册到配置单元元存储的内容。

在我可以注册所有分区之前，我需要知道所有的分区值。现在我正在做ds.select(partitionColumn).distinct().collectAsList();来获取所有的分区值。

有没有更好的方法从我的数据集中获取分区值？

Answer 1

读取Spark源代码后，特别是AlterTableRecoverPartitionsCommand,org.apache.spark.sql.execution.command.ddl.scala，这是Spark实现的ALTER TABLE RECOVER PARTITIONS。它扫描所有分区，然后注册它们。

因此，这里是相同的想法，扫描我们刚写入的位置的所有分区。

从中获取密钥名称，然后从中提取分区名称/值。

以下是获取路径的代码片段。

String location = "s3n://somebucket/somefolder/dateid=20171010/"; 
Path root = new Path(location); 

Configuration hadoopConf = sparkSession.sessionState().newHadoopConf(); 
FileSystem fs = root.getFileSystem(hadoopConf); 

JobConf jobConf = new JobConf(hadoopConf, this.getClass()); 
final PathFilter pathFilter = FileInputFormat.getInputPathFilter(jobConf); 

FileStatus[] fileStatuses = fs.listStatus(root, path -> { 
    String name = path.getName(); 
    if (name != "_SUCCESS" && name != "_temporary" && !name.startsWith(".")) { 
     return pathFilter == null || pathFilter.accept(path); 
    } else { 
     return false; 
    } 
}); 

for(FileStatus fileStatus: fileStatuses) { 
    System.out.println(fileStatus.getPath().getName()); 
}