在hdfs（hadoop）目录中移动文件时触发作业

当Hadoop分布式文件系统中的文件被转移到特定目录（通过flume）时，我想触发作业（配置单元或猪或oozie..etc）。可能吗？在hdfs（hadoop）目录中移动文件时触发作业

2014-02-12 user2645257

它可能是间接的。 Oozie不支持纯数据可用性触发器。您必须设置一定频率的经常性流量，并将数据可用性作为附加条件。

这是一个关于Oozie的常见问题，不幸的是文档很糟糕。

2014-02-12 12:14:35

某些频率意味着 - 在一个特定的时间间隔？而且如果我使用flume java api传输。是否有可能通过该API触发它？ – user2645257

频率：http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html#a4._Datetime_Frequency_and_Time-Period_Representation 您创建一个协调程序以执行特定频率的工作流程，例如，每天下午5点一次。由于数据可用性条件（指定为输入事件：http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html#a6.1.4._Input_Events），只有数据可用时，工作流程才会运行。 Oozie还提供了一个API，你可以用它来启动一个工作流程（没有协调器） - 你可以在你猜测Flume传输之后用Java来做到这一点。 –

在hdfs（hadoop）目录中移动文件时触发作业

回答

相关问题