芹菜执行过程中的气流错误

我们在Docker实例中设置了rabbitmq，mysql db和celery executor设置的气流设置。通过下面的运行命令来激活第一个单独的步骤/操作器。芹菜执行过程中的气流错误

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data 2016-03-03

然而，当我们通过回填命令触发如下的整个DAG，我们芹菜执行期间遇到以下错误。显然，这是芹菜错误，但我如何提取更多日志调试相同。在celery_taskmeta表

回填命令

airflow backfill wfm_model_training_client_1_queue_11 -s 2016-03-03 -e 2016-03-03

芹菜错误追溯列

Traceback (most recent call last): 
    File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 367, in trace_task 
    R = retval = fun(*args, **kwargs) 
    File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 622, in __protected_call__ 
    return self.run(*args, **kwargs) 
    File "/usr/lib/python2.7/site-packages/airflow/executors/celery_executor.py", line 59, in execute_command 
    except subprocess.CalledProcessError as e: 
AirflowException: Celery command failed

来源

2017-05-16 Butterfly Coder

错误是由于一些泡菜相关的问题。我通过将--donot_pickle参数传递给回填命令来绕过此问题。

它通过更新命令

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data 2016-03-03 --donot_pickle

来源

2017-05-17 09:42:19

是否有芹菜命令输出记录到任何芹菜后端数据库或任何日志文件的方式解决。我不得不手动编辑芹菜python文件以将实际错误记录到数据库 –

芹菜执行过程中的气流错误

回答

相关问题