作业中有两个输入文件,它们位于两个不同的目录中,在Hadoop job taking input files from multiple directories中,我们可以从多个目录中读取文件。这些文件具有相同的名称,但它们位于不同的名称文件夹中。 C1/part-0000 C2/part-0000
是否有可能在地图阶段检测文件?
像一些事情: public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { if (First file) { ... context.write(outputKey, outputValue); } } else { //Second file ... context.write(outputKey, outputValue); } }
Hadoop作业从多个目录中获取输入文件并检测映射阶段中的每个目录
0
A
回答
0
检查它在安装阶段
@Override
protected void setup(Context context) throws IOException, InterruptedException {
FileSplit split = (FileSplit) context.getInputSplit();
Path path = split.getPath();
String name = path.getName();
...
不检查它在地图方法的每一行,因为是1个输入分流创建的每个映射。
相关问题
- 1. 可以hadoop从多个目录和文件采取输入
- 2. Python:对于工作目录中的每个目录进入该目录并获取目录的名称
- 3. 在Hadoop中对多个输出目录使用多个映射器MapReduce
- 4. 制作多个目录并将文件放到每个目录中
- 5. 从目录中读取多个文件
- 6. 获取每个目录的文件(Py)
- 7. 在hadoop上的一个流式作业中使用多个映射器输入?
- 8. hadoop中每个映射器的单个或多个文件?
- 9. 从mysql获取每个项目的最后输入记录
- 10. 从Hadoop中的映射器生成多个输出文件MapReduce
- 11. 获取多个java文件目录
- 12. Hadoop:提供目录作为MapReduce作业的输入
- 13. PowerShell中获取内容从多个目录中的多个不明的文件和子目录
- 14. 获取输入文件目录(Applescript)
- 15. 如何在Hadoop中创建和读取目录 - Mapreduce作业工作目录
- 16. Hadoop按照每个映射工作流多个文件
- 17. Gradle:迭代测试目录并在每个目录中执行多项任务
- 18. 在路径中输入最后一个目录,并在目录中输入最后一个文件
- 19. 目录映射
- 20. 递归获取具有多个子目录的目录中的文件
- 21. 读取另一个目录中的文件并作为输入传递
- 22. Bz2在目录中的每个文件
- 23. 把目录中每个文件的“头”?
- 24. 循环遍历目录中的每个文件并将输出写入文本
- 25. 如何从多个目录/文件夹合并多个文件
- 26. 如何从输入中获取文件夹/目录路径?
- 27. 获取目录中的每个文件,Python
- 28. 获取目录中每个文件的相对路径
- 29. 获取目录中每个文件名的部分
- 30. 从根目录中的文件夹获取目录PHP