用于mapreduce作业的StreamInputFormat

Question

我有一个连接到远程系统并使用sftp协议从它传输数据的应用程序。我想使用mapreduce作业来做同样的事情。我需要一个从输入流中读取的输入格式。我一直在阅读HStreamInputFormat和StreamInputFormat的文档，但我的hadoop-2.0似乎不支持这些类。我如何继续？任何链接到教程或使用输入格式从输入流中读取示例？

Answer 1

如果这些SteamInputFormats不支持您的需要，那么您最好用自己的自定义需求编写自己的InputFormat。请阅读this教程，了解如何编写自定义的InputFormat和RecordReader。