2017-08-24 159 views
0

我正在尝试使用AWS Glue运行将数据从Redshift读取到S3的ETL作业。AWS CloudWatch日志未创建

  1. 当我运行爬网程序时,它成功连接到Redshift并获取模式信息。相关日志在日志组aws-glue/crawlers下创建。

  2. 当我运行ETL作业时,它应该在日志组aws-glue/jobs/output和aws-glue/jobs/error下创建一个日志流,但它无法创建这样的日志流,并最终该工作也失败了。

(我使用AWS管理AWSGlueServiceRole政策胶服务)

因为它不产生任何日志,也很难找出ETL作业失败的原因。如果你能帮我解决这个问题,我将不胜感激。

回答

1

大多数情况下,这与您的AWS服务没有正确的权限(是的,即使只是写日志!)有关。

添加这样的事情胶水角色可能做的伎俩:

{ “版本”: “2012年10月17日”, “声明”:[{ “效果”:“允许”, “操作”:[ “日志:CreateLogGroup”, “日志:CreateLogStream”, “日志:PutLogEvents” ], “资源”: “ARN:AWS:原木::*” } ] }

+0

我已经添加了类似的政策。从S3到S3运行ETL作业时,日志已成功创建。问题在于,从Aurora(在VPC中)向S3运行ETL作业时,不会创建日志。 –