有没有办法将MapReduce作业的输出导入到SQL表中？

有没有办法将MapReduce作业的输出导入到SQL表中？有没有办法将MapReduce作业的输出导入到SQL表中？

我想知道是否可以自动将MapReduce作业（MapReduce作业应该负责导出）的输出导入到SQL表（MySQL，Oracle等）中。

我知道Sqoop可以作为一个工具使用，但它可以用于MR工作吗？

2014-06-27 diplomaticguru

http://stackoverflow.com/questions/18351475/storing-apache-hadoop-data-output-to-mysql-database有一个接受的答案，这样做与MySQL作为目标数据库。 – mc110

非常感谢mc110的链接:-) – diplomaticguru

除非您在reducer中编写了一些代码，而不是将输出写入上下文，它通过JDBC连接到SQL表并插入它（这将是一个非常糟糕的想法），您唯一可以做的是使用Oozie自动执行MapReduce作业，然后使用Sqoop执行插入。 Oozie是一个工作流调度程序，可以自动执行所有这些操作。你可以找到更多关于它的信息here。

来源

2014-06-27 12:10:02 Balduz

非常感谢Balduz分享一些有用的信息。 – diplomaticguru

有没有办法将MapReduce作业的输出导入到SQL表中？

回答

相关问题