定期将查询结果从Redshift移动到S3存储桶

Question

我在Redshift集群的表中获得了我的数据。我想定期对Redshift表运行查询并将结果存储在S3存储桶中。

我将对S3存储桶中的这些数据进行一些数据转换，以将数据转换为另一个系统。根据AWS文档，我可以使用UNLOAD命令，但是有没有一种方法可以定期安排这项工作？？我搜查了很多，但我还没有找到任何有关这方面的信息。

Answer 1

我不认为Redshift能够定期安排查询。您需要为此使用其他服务。您可以使用Lambda函数，也可以在EC2实例上安排cron作业。

Answer 2

您可以使用排程工具如Airflow来完成此任务。气流似乎没有连接到Redshift和S3。您可以执行DAG操作，定期轮询Redshift并将数据从Redshift卸载到S3上。

Answer 3

我相信你正在寻找AWS数据管道服务。

您可以使用RedshiftCopyActivity（http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html）将数据从红移复制到s3。

我复制从未来的目的上述网址的相关内容：

“您也可以从亚马逊红移使用RedshiftCopyActivity复制到Amazon S3的更多信息，请参阅S3DataNode 可以使用SqlActivity来。对您已加载到Amazon Redshift的数据执行SQL查询。“

让我知道这是否有帮助。