2017-07-21 122 views
0

我有一个设置了3个节点的flink集群。在Web界面中,我看到3个任务管理器,3个任务插槽和3个可用任务插槽。Flink python作业执行失败

我试图运行一个简单的字数,并且它非常确定性地失败了三次。我假设它每次都没有在master上运行时就会失败。

这里是我的flink-conf.yamlword_count.py文件。

我得到的例外是:

Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory 

(与堆栈跟踪完整实施here。)

我检查所有文件夹和他们都有一个rwx权限。

有没有人有一个想法我做错了什么?

+0

其弗林克版本您使用的?您可能必须将python.dc.tmp.dir参数设置为指向某个文件系统位置,该位置可由所有节点访问(如hdfs)。 –

+0

@ChesnaySchepler就是这样!谢谢!你可以发布它作为答案,所以我可以接受它。另外,您是否知道在哪里可以找到“隐藏/未记录”配置变量列表? :) –

回答