我想将Hadoop作业输出导入到Hive表。我如何在map-reduce作业/流程中实现post-hook?或者其他任何自动化选项?Hadoop post-hook和作业完成通知
另外,我会在完成作业后发出通知,例如发送电子邮件给用户。我发现这个:https://issues.apache.org/jira/browse/HADOOP-1111,但我不太明白怎么做,因为我是新的地图缩减。
谢谢。
我想将Hadoop作业输出导入到Hive表。我如何在map-reduce作业/流程中实现post-hook?或者其他任何自动化选项?Hadoop post-hook和作业完成通知
另外,我会在完成作业后发出通知,例如发送电子邮件给用户。我发现这个:https://issues.apache.org/jira/browse/HADOOP-1111,但我不太明白怎么做,因为我是新的地图缩减。
谢谢。
conf.set("mapreduce.job.end-notification.url","url")
会做。 url
应该是http url
,您将收到回调。
从的javadoc:
设置URI来按顺序发送通知作业完成(成功/失败)之后被调用。
uri可以包含2个特殊参数:$ jobId和$ jobStatus。那些如果存在的话,分别被作业的标识符和完成状态所取代。
这通常由应用程序编写者用异步方式实现Map-Reduce作业的链接。
请注意,较旧的hadoop版本使用job.end.notification.url
。
它在较新的版本中被弃用,有利于mapreduce.job.end-notification.url
。