0
我有一个设置了3个节点的flink集群。在Web界面中,我看到3个任务管理器,3个任务插槽和3个可用任务插槽。Flink python作业执行失败
我试图运行一个简单的字数,并且它非常确定性地失败了三次。我假设它每次都没有在master上运行时就会失败。
这里是我的flink-conf.yaml
和word_count.py
文件。
我得到的例外是:
Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory
(与堆栈跟踪完整实施here。)
我检查所有文件夹和他们都有一个rwx
权限。
有没有人有一个想法我做错了什么?
其弗林克版本您使用的?您可能必须将python.dc.tmp.dir参数设置为指向某个文件系统位置,该位置可由所有节点访问(如hdfs)。 –
@ChesnaySchepler就是这样!谢谢!你可以发布它作为答案,所以我可以接受它。另外,您是否知道在哪里可以找到“隐藏/未记录”配置变量列表? :) –