Hadoop输入拆分转储

当某个特定任务失败时，我们是否可以获取运行此任务的输入拆分转储，以便我们可以在输入和远程调试的该部分上本地运行作业？Hadoop输入拆分转储

2014-07-17 user2023507

您可以在映射器的设置中写入关于输入分割的信息。 FileInputFormat的示例：

@Override 
    protected void setup(Context context) throws IOException, InterruptedException { 
     FileSplit inputSplit = (FileSplit) context.getInputSplit(); 
     System.out.println(inputSplit.toString()); 
    }

来源

2014-07-17 08:32:23

这是否会给hdfs上的split的物理位置？我们可以将其复制到本地文件系统，然后将其发送到开箱以进行远程调试？ – user2023507

这将打印类似'hdfs：// server：port/path/to/file/in/hdfs：0 + 1000'，其中0 + 1000 - 分割的开始和结束位置。 –

Hadoop输入拆分转储

回答

相关问题