azkaban

-1热度

1回答

我有一个Spark Streaming作业，它使用spark-submit脚本手动运行。我想安排它每天运行。哪一个更好Azkaban，Airflow，Oozie，Crontab，Spark-jobserver，Quartz或Luigi。任何建议表示赞赏！

-1热度

1回答

Azkaban：正在运行Azkaban执行程序服务器群

是否可以在群集中运行Azkaban执行程序服务程序？如果一个节点出现故障，那么另一个节点可以启动并运行预定的作业？我还没有看到有关这种设置的任何文档。我在某处读的所有内容都是我们只能为每个Web服务器运行一个Executor服务。但是一个理想的容错架构应该是让Web服务器和Executor服务器独立运行。有没有人处理过这种情况。请让我知道，如果您有任何指针.. 感谢， Kranthi

0热度

1回答

访问Azkaban的“运行时属性”

我一直在尝试（没有运气）一个简单的主题：访问Azkaban的“全局”运行时属性（据推测可用于流）。我尝试过所有正常和不正常的方法，试图从流中访问它们，但无济于事。有没有人有一个具体的例子（请不要“挥手”）我如何访问他们（甚至可能打印一个日志文件）？顺便说一句，在流程已经运行之后从另一个程序访问它们不是问题（例如：REST API），但是我希望在运行期间获取它们，以便创建日志等等（此方法在运行时不起

3热度

2回答

如何在Azkaban上使用Hive作业？

我想使用Azkaban进行周期性Hive作业，我已经浏览了Azkaban文档，并且它似乎默认情况下不支持Hive作业，您知道我该如何使用这两种作业？我认为，我将不得不作为Azkaban中的“命令工作”运行Hive作业，但也许有人已经完成了它。我曾经使用Oozie一段时间，但它没有达到我的需要。谢谢。

0热度

2回答

Apache Activiti工作流程执行是作为一个单独的流程或在Activiti流程中执行的

我一直在调查Azkaban和Apache Activiti作为我们的工作流程用例之一。我所理解的是Azkaban内部的每项工作都是作为一个单独的过程运行，与Activiti相同，或者Activiti任务在Activiti主进程中运行的独立线程。

0热度

1回答

azkaban 3.0作业ID不更改

我正在尝试使用Azkaban 3.0进行一些测试。目前，每当我启动一个已经启动的项目时，我都会遇到问题。因此，在为新运行分配执行id之前，它将与用于上一次运行的最后一个执行id相同，这会导致作业不被执行。我很确定这是一个不正常的行为，我试图重新启动azkaban，但问题仍然存在。有什么建议么？

1热度

1回答

阿兹卡班流量参数

您如何为每项工作设置流量参数？我正在尝试配置自定义警报器，并希望每个作业都能触发它。它看起来像是从流参数中寻找“alert.type”属性，但现在我只能通过接口来触发它。有任何想法吗？

3热度

1回答

Google Dataflow的工作流编排

我们正在使用Google Dataflow进行批量数据处理，并寻找一些类似于Azkaban为Hadoop所做的工作流编排工具的选项。我们正在寻找的是关键的事情的东西，配置工作流程调度工作流程的监视和报警失败流程能够重新运行失败的作业我们已经对Pentaho进行了评估，但是这些功能都可以在他们的企业版中获得，这是易于使用的即我们目前正在评估Azkaban，因为它支持javaproces